Noch lange nicht ausgelernt
Deep Learning geht auf einen drei Jahrzehnte alten Durchbruch zurück. Die damals geschlagene Brücke zwischen Informatik und Biologie könnte zu weiteren Meilensteinen führen, hofft ihr Erfinder Geoffrey Hinton.
(Bild: Shutterstock)
- James Somers
Mitten in Toronto befindet sich seit Kurzem der Mittelpunkt der Welt, zumindest jenes Teils, der sich der Erforschung des maschinellen Lernens verschrieben hat. Ende 2017 öffnete das Vector Institute seine Pforten mit keinem geringeren Ziel, als zum weltweiten Epizentrum der künstlichen Intelligenz zu werden.
In dem beeindruckenden Glaspalast wollen Firmen aus den USA und Kanada – darunter Google, Uber und Nvidia – die Kommerzialisierung der Technologien fördern. Groß um Geld mussten die Gründer nicht werben, es floss fast von selbst herein. Und ein wichtiger Grund dafür dürfte Geoffrey Hinton sein. Er gilt als Vater des Deep Learning – jener Technik, die derzeit für so viel Begeisterung sorgt. Hintons Studenten und Postdocs haben die KI-Labs bei Apple, Facebook und OpenAI geleitet.
Das Google-Gehirn
Hinton selbst ist leitender Wissenschaftler des Projekts Google Brain. Fast jede KI-Errungenschaft des letzten Jahrzehnts – Übersetzung, Spracherkennung, Bilderkennung, Spiele – lässt sich irgendwie auf seine Arbeit zurückführen. An ihm liegt es daher auch, dass das Vector Institute ausgerechnet in Toronto steht und nicht etwa im Silicon Valley. Denn er lebt in der kanadischen Metropole. Der gebürtige Brite forschte bis in die 1980er-Jahre an der Carnegie Mellon University (CMU) in Pittsburgh, wechselte dann aber an die Universität Toronto. Der Grund, sagt Hinton, sei die Iran-Contra-Affäre in den USA gewesen. "Die meisten Leute an der CMU fanden es völlig normal, dass die USA in Nicaragua einfielen. Sie betrachteten es irgendwie als ihr Eigentum." Inzwischen ist er emeritiert und leitender wissenschaftlicher Berater des Vector Institute.
Den Büros dort wohnt der Zauber des Anfangs inne, eine Aufbruchstimmung liegt über den Fluren. Dabei ist die Idee des Deep Learning eigentlich eine uralte Geschichte. 1986 veröffentlichte Hinton mit den Kollegen David Rumelhart und Ronald Williams jene bahnbrechende Arbeit, die als Ausgangspunkt des Fortschritts gilt. Über 30 Jahre hat sich die Technologie entwickelt, wenn auch größtenteils im Verborgenen. Möglicherweise also steht die KI gar nicht am Anfang einer Revolution, sondern an deren Ende.
Hinton, 70 Jahre alt, hat das schlanke englische Gesicht des Big Friendly Giant, mit einem dünnen Mund, großen Ohren und einer stolzen Nase. Er spricht wie der Erzähler eines Kinderbuchs über Wissenschaft: neugierig, mitreißend, witzig. Schon in den 1980er-Jahren galt er als führender Experte für künstliche neuronale Netze, stark vereinfachte Modelle der Neuronen und Synapsen menschlicher Gehirne. Ein Karrieresprungbrett war das Feld damals jedoch nicht: Die meisten Wissenschaftler waren der Meinung, neuronale Netze seien eine Sackgasse der KI-Forschung.
Neuronales Netz wie ein Sandwich
Zwar wurde das erste von ihnen, das in den 1950er-Jahren entwickelte Perceptron, als Schritt zu maschineller Intelligenz auf menschlichem Niveau gefeiert. Doch 1969 wiesen die MIT-Forscher Marvin Minsky und Seymour Papert mit ihrem Buch "Perceptrons" mathematisch nach, dass solche Netzwerke nur sehr einfache Funktionen ausführen können. Sie verfügten lediglich über zwei Schichten von Neuronen, eine Eingangs- und eine Ausgangsschicht. Netze mit mehr Schichten hätten theoretisch weit mehr Probleme lösen können. Aber niemand wusste sie zu trainieren, und damit waren sie in der Praxis nutzlos. Bis auf ein paar Standfeste wie Hinton gaben die meisten die Forschung an neuronalen Netzen auf.
1986 aber gelang Hinton der Durchbruch: Er zeigte, dass durch Backpropagation, auch Fehlerrückführung genannt, durchaus mehrschichtige neuronale Netze eingelernt werden können. Damals war jedoch schlicht nicht genug Rechenleistung verfügbar, um diese Entdeckung umzusetzen. Und so dauerte es weitere 26 Jahre, bis das Deep Learning seinen Siegeszug antrat. Im Rahmen einer 2012 erschienenen Arbeit trainierten Hinton und zwei seiner Toronto-Studenten mehrschichtige – oder "tiefe" – neuronale Netze durch Backpropagation so, dass sie modernste Bilderkennungssysteme übertrafen. Nach außen schien die KI über Nacht aufzuwachen – für Hinton war es jedoch ein längst überfälliger Erfolg.
Der Aufbau eines neuronalen Netzes wird normalerweise wie ein Sandwich dargestellt, mit übereinandergestapelten Schichten. Sie enthalten künstliche Neuronen, simple kleine Recheneinheiten, die – wie echte Neuronen – angeregt werden und ihre Erregung an andere Neuronen weitergeben. Eine Zahl, beispielsweise 0,13 oder 32,39, stellt den Erregungsgrad eines Neurons dar. Für jede Verbindung zwischen zwei Neuronen legt eine weitere Zahl fest, wie viel Erregung von einem zum anderen übertragen wird. Diese Zahl steht also für die Stärke der Verbindung zwischen den Neuronen: je höher die Zahl, desto stärker die Verbindung – und desto mehr Erregung wird übertragen. Eine der erfolgreichsten Anwendungen ist die Bilderkennung – wie in der denkwürdigen Szene der HBO-Serie "Silicon Valley": Das Team erstellt ein Programm, das erkennt, ob ein Hotdog im Bild ist. Solche Programme gibt es inzwischen tatsächlich.
Kleiner Ausgangspunkt
Der Ausgangspunkt ist beispielsweise ein kleines Schwarz-Weiß-Bild von 100 mal 100 Pixeln. Damit füttert man das neuronale Netzwerk, indem jedes Neuron entsprechend der Helligkeit eines jeden Pixels erregt wird. In der ersten Schicht würden dann 100 mal 100 Neuronen die Helligkeit der Bildpixel repräsentieren, also insgesamt 10000. Diese Schicht verbindet man dann mit einer weiteren Neuronenschicht von nur noch einigen Tausend Neuronen und so fort, bis schließlich in der obersten Schicht – dem Output – lediglich zwei Neuronen übrig bleiben. Eins repräsentiert "Hotdog", das andere "kein Hotdog". Das neuronale Netz soll nun so trainiert werden, dass durch die Schichten hindurch nur das "Hotdog"-Neuron der obersten Schicht erregt wird, wenn das Bild einen Hotdog zeigt – und das andere Neuron, wenn nicht.
Anfangs sind die Verbindungen zwischen den Neuronen zufällig gewichtet. Das heißt, der Zufall entscheidet, wie viel Erregung jede Verbindung übermittelt. Es ist, als seien die Synapsen eines Gehirns noch nicht richtig eingestellt. Anschließend trainiert man das neuronale Netz mit Millionen von Bildern – einige mit Hotdogs, einige ohne.
