KI-Update Deep-Dive: Generativer KI unter die Haube geschaut
Wie verarbeiten neuronale Netze natürliche Sprache? Der Künstler, Coder und Autor Pit Noack gibt einen spielerischen Einblick.
Maschinenlernen, neuronale Netze, Transformer, Vektoren? Da winken viele gleich ab. Pit Noack und Sophia Sanner schaffen es mit ihrem Buch „Künstliche Intelligenz verstehen – Eine spielerische Einführung“ ein sehr anschauliches Bild der Prinzipien zu zeichnen, die hinter KI stehen. Im Deep-Dive des KI-Updates, erklärt Noack, wie ChatGPT und Co natürliche Sprache verstehen können.
Hinter bahnbrechenden KI-Anwendungen wie der Übersetzungssoftware DeepL und Chatbots wie Bard oder ChatGPT steht eine sehr spezifische Bauform neuronaler Netze, die sogenannten Transformer, erklärt Noack. Da kommen Wort- und Sequenzeinbettung in Spiel. "Worteinbettung bedeutet, wir haben einen Raum und wir können mithilfe eines neuronalen Netzes die Wörter so in diesem Raum anordnen, dass dicht beieinanderstehende Wörter, ähnlich sind." Wörter mit einem gemeinsamen Bezug bilden ein Cluster. Das heißt, wir kodieren Wörter nicht in einzelne Zahlen, sondern in Koordinaten.
(Bild: "Künstliche Intelligenz verstehen" Sophia Sanner & Pit Noack)
Noack führt weiter aus, dass sich die Beziehungen zwischen den Wörtern als räumliche Beziehungen abbilden lassen. Ein Pfeil, der zwei Punkte in einem Koordinatensystem miteinander verbindet, wird in der Mathematik Vektor genannt. Vektoren lassen sich wie eine Wegbeschreibung zwischen den Worten lesen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Diese Worteinbettungen sind eine Grundlage für den nächsten Schritt, nämlich für die sogenannte Sequenzeinbettung. Dabei geht es dann nicht nur um einzelne Wörter, sondern ganze Sequenzen, Wortfolgen, die in einem hochdimensionalen Raum abgebildet werden. "Sehr vereinfacht ausgedrückt nimmt so ein Transformer also einen Satz und transformiert ihn, damit er in so ein neuronales Netz passt und in dem neuronalen Netz den richtigen Platz findet, um dann die Antwort zu geben", fasst Noack zusammen.
(Bild: "Künstliche Intelligenz verstehen" Sophia Sanner & Pit Noack)
Eingehende Erklärungen dieser Konzepte liefert Pit Noack im Podcast, Bilder und Programmierbeispiele zum besseren Verständnis in seinem Buch, das es im heise Shop zu kaufen gibt.
(igr)
