Die Entwicklung ist seit Deiner Studienzeit stetig weitergegangen, weitestgehend im verborgenen und bis vor wenigen Jahren vornehmlich im wissenschaftlichen Kontext und nur versteckt in Anwendungen. Spracherkennung war so ein Meilenstein, wie Du ihn bei Alexa und Siri gesehen hast. Der Rest dieser Assistenten sind, wie Du schon geschrieben hast, regelbasierte Expertensysteme. Ein weiterer Meilenstein waren LSTM's, die Anwendungen wie DeepL, also schon ziemlich gute Übersetzungsdienste ermöglichten. Weitere Meilensteine waren Deep Learning unterstützte Suchalgorithmen z. B. bei Google. Das lief aber alles weitestgehend unter dem Radarschirm der öffentlichen Wahrnehmung.
Dann kam 2017 das Paper "Attention is all you need", das erstmals den Transformer beschrieben hat. Ab diesem Zeitpunkt ging es steil bergauf mit Deep Learning Modellen, weil man nun eine Methode hatte um neuronale Netze beliebig in der Größe zu skalieren (attention / self-attention) und gleichzeitig zu parallelisieren, was mit den davor gebräuchlichen LSTM's noch nicht ging.
In der öffentlichen Wahrnehmung sind daher auch erst die riesigen Transformer-Netzwerke angekommen, wie z. B. mit GPT-3 in der ChatGPT Anwendung. Gleichzeitig haben sich, nicht ganz so im Zentrum der Berichterstattung, die Diffusion-Modelle durchgesetzt, mit denen fotorealistische Bilder und neuerdings auch Videos erstellt werden können. Wobei diese aktuell durch eine weiterentwickelte Technik namens Flow-Matching wieder abgelöst werden.
Hier ist also eine seit vielen Jahren lineare Entwicklung mit einer leichten exponentiellen Komponente im Gange.
Diese Entwicklung hat sich bereits sehr positiv auf autonom fahrende Fahrzeuge ausgewirkt und wird das auch weiterhin tun.
Z. B. multimodal trainierte Sprachmodelle als zusätzliche höhere kognitive Modelle, die komplexe Verkehrssituationen beurteilen können und mit kleineren, aber schnelleren neuronalen Netze zusammenarbeiten, werden hier noch deutliche Verbesserungen bringen. Ebenso synthetisch generierte Daten aus neuartigen Simulationsumgebungen, die für ein deutlich effizienteres Training verwendet werden können.
Auch die großen Sprünge in der Hardwareentwicklung werden ihren Teil zur Weiterentwicklung dieser Systeme beitragen.
Das Posting wurde vom Benutzer editiert (09.07.2024 14:24).