KI-Update kompakt: Llama 3.1 405B, Kartellbehörden, Graph RAG, Waldbrände
Das "KI-Update" liefert werktäglich eine Zusammenfassung der wichtigsten KI-Entwicklungen.
- Isabel Grünewald
- The Decoder
Meta veröffentlicht Llama 3.1 405B
Meta hat eine neue Version seines Großen Sprachmodells, Llama 3.1 405B, als Open-Source veröffentlicht. Das Modell umfasst 405 Milliarden Parameter und ist laut Meta in der Lage, mit GPT-4o zu konkurrieren, dabei aber kostengünstiger zu sein. Es gibt auch kleinere Versionen mit 70B und 8B Parametern. Mark Zuckerberg bezeichnet das Modell als "Knaller" und betont in einem Blogbeitrag die Bedeutung von Open-Source für die Zukunft der KI.
Llama 3.1 405B ist auch in Deutschland verfügbar und beherrscht mehrere Sprachen, darunter Deutsch. Die Kontextlänge beträgt 128.000 Token. Meta erwartet, dass das Modell neue Arbeitsabläufe ermöglicht, insbesondere bei der Erstellung synthetischer Daten und der Model-Distillation.
Meta sieht in KI-Agenten die nächste große Entwicklung und plant, Entwicklern Tools zur Verfügung zu stellen, um eigene Agenten zu bauen. Dazu gehören auch neue Sicherheitswerkzeuge wie Llama Guard 3 und Prompt Guard.
Zuckerberg argumentiert für Open-Source als besten Weg zur Weiterentwicklung und Sicherheit von KI. Er vergleicht die Entwicklung mit Linux und möchte Metas Modelle zum "Industrie-Standard" machen. Open-Source ermöglicht laut Zuckerberg Unabhängigkeit von einzelnen Anbietern und kostengünstigere Nutzung auf eigener Infrastruktur.
Der Meta-Chef kritisiert in diesem Zusammenhang Apples Geschäftspraktiken und deren Einschränkungen für Entwickler. Er sieht in Open-Source auch eine Chance, Risiken und Gefahren von KI besser zu kontrollieren, sowohl unbeabsichtigte als auch absichtliche durch "bad actors".
Gemeinsame Erklärung der Kartellbehörden zu fairem Wettbewerb
Die Regulierungsbehörden der Europäischen Union, Großbritanniens und der Vereinigten Staaten haben eine gemeinsame Erklärung mit Grundsätzen zum Schutz der Verbraucher und zur Gewährleistung eines wirksamen Wettbewerbs im Bereich der künstlichen Intelligenz (KI) unterzeichnet. "Auf der Grundlage unserer jeweiligen Gesetze werden wir uns für einen wirksamen Wettbewerb und eine faire und ehrliche Behandlung von Verbrauchern und Unternehmen einsetzen", heißt es in der Erklärung. Basis sei die Erkenntnis, "dass faire, offene und wettbewerbsfähige Märkte dazu beitragen werden, die Chancen, das Wachstum und die Innovation freizusetzen, die diese Technologien bieten könnten."
Zu den gemeinsamen Grundsätzen für den Schutz des Wettbewerbs im KI-Ökosystem gehören demnach der faire Umgang und die Verhinderung von Ausschlusstaktiken, die Förderung von Interoperabilität von KI-Produkten und -Diensten und deren Inputs, die Schaffung von Wahlmöglichkeiten zwischen verschiedenen Produkten und Geschäftsmodellen sowie eine genauere Prüfung von Investitionen und Partnerschaften zwischen etablierten und neuen Anbietern. Dies sind alles recht allgemeine Aussagen über den gemeinsamen Ansatz der Behörden zur Förderung des Wettbewerbs im Bereich der KI.
Inwieweit aus der gemeinsamen Erklärung und den gemeinsamen Grundsätzen auch ein abgestimmtes gemeinsames Vorgehen erwächst, wird sich zeigen müssen.
KI-Start-up Cohere erhält 500 Millionen US-Dollar
Das kanadische KI-Start-up Cohere hat in einer Finanzierungsrunde 500 Millionen US-Dollar erhalten. Die Bewertung des Unternehmens liegt bei 5,5 Milliarden US-Dollar. Zu den Investoren gehören der kanadische Pensionsfonds PSP Investments, Cisco, Fujitsu, AMD und Kanadas Exportkreditagentur EDC. Auch Nvidia ist bereits ein Investor.
Cohere wurde 2019 gegründet und hat seinen Hauptsitz in Toronto. Geleitet wird das Unternehmen von Aidan Gomez, einem der Erfinder der Transformer-Architektur. Es ist auf KI-Sprachmodelle und -Dienste für Unternehmen spezialisiert. Cohere kooperiert unter anderem mit Oracle für die Bereitstellung generativer KI für Unternehmen. Zuletzt hatte das Start-up das für Retrieval-Augmented Generation optimierte Open-Source-KI-Modell "Command R+" vorgestellt.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Microsofts Ansatz für genaueren Zugriff auf externe Daten mit Graph RAG
Retrieval-Augmented Generation ermöglicht Sprachmodellen den Zugriff auf externe Daten. Das kann Halluzinationen reduzieren, unternehmensspezifische Chatbots ermöglichen oder journalistische Inhalte einer Publikation chatfähig machen. Allerdings spielt die Art und Weise, wie diese Daten dem Sprachmodell zugeführt werden, eine entscheidende Rolle für die Performance des Endergebnisses.
Klassischerweise werden zur Anfrage des Nutzers passende Textausschnitte aus einer Datenbank gesucht und in das Kontextfenster des Sprachmodells zur Beantwortung an den Nutzer übergeben. Das funktioniert gut, aber nur solange die Anfragen nicht Themen betreffen, die viele Textsegmente in der Datenbank umfassen – oder sich gar über das gesamte Korpus erstrecken. Dafür haben Microsoft-Forscher GraphRAG entwickelt.
Die Methode verwendet sogenannte Wissensgraphen, um genauere und umfassendere Antworten auf Anfragen zu liefern. Diese Wissensgraphen sind eine alte Idee, neu ist die Verknüpfung mit Sprachmodellen. In der Praxis extrahiert GraphRAG aus den Texten statt den reinen Textausschnitten zunächst Entitäten wie Personen, Unternehmen oder Orte und deren Beziehungen zueinander. Unter Berücksichtigung dieser Informationen fasst es dann die einzelnen Texte zusammen, gruppiert sie und verwendet sie am Ende für die endgültige Antwort.
In Tests mit Podcast-Transkripten und Nachrichtenartikeln übertraf Graph RAG herkömmliche Methoden in Vollständigkeit und Vielfalt der Antworten deutlich – so deutlich, dass Microsoft die Methode direkt für den Kundensupport von LinkedIn testete. Hier zeigte der Einsatz nach Angaben des Unternehmens eine Verkürzung der Antwortzeiten um fast 30 Prozent.
KI-Modell CLAY erzeugt detaillierte 3D-Objekte aus Text und Bildern
Ein Forschungsteam der Technischen Universität Shanghai hat ein KI-Modell namens CLAY entwickelt. Es kann aus Text und Bildern detaillierte 3D-Objekte erzeugen. CLAY wurde mit über 500.000 3D-Modellen trainiert, verarbeitet also 3D-Inhalte direkt. Daher können neben Text und Bild auch 3D-Prompts, etwa Punktwolken, als Prompts verwendet werden.
In Vergleichen übertrifft CLAY andere Systeme in Qualität und Geschwindigkeit: Es erzeugt die teilweise sehr hochwertigen 3D-Assets in etwa 45 Sekunden. Die Forschenden sehen Anwendungsmöglichkeiten in der Spieleentwicklung, Filmproduktion und im 3D-Druck. Eine Version des Tools kann bereits über den 3D-Service Rodin Gen-1 genutzt werden.
KI sagt Ausbreitung von Waldbränden voraus
Ein Wissenschaftsteam der University of Southern California (USC) hat eine auf KI basierende Methode entwickelt, um die Ausbreitung von Waldbränden genau vorherzusagen. Damit erhalten Feuerwehren eine bessere Möglichkeit, auf Waldbrände zu reagieren und sie effektiver bekämpfen zu können. Das Modell der USC nutzt Satellitenbilder, um die Ausbreitung eines Waldbrandes in Echtzeit zu verfolgen. Diese Informationen werden von einer KI analysiert, die den wahrscheinlichen Verlauf des Waldbrandes, seine Intensität sowie die Wachstumsrate des Feuers vorhersagt.
Dem KI-Modell liegen historische Daten über Waldbrände zugrunde. Die Forschenden sammelten dazu hochauflösende Satellitenbilder von Waldbränden. Diese untersuchten sie hinsichtlich des Verhaltens der Waldbrände. Das Team konnte so herausfinden, wie und wo die Brände entstanden waren, wie sie sich ausbreiteten und eingedämmt werden konnten. Aus der Analyse konnten die Wissenschaftlerinnen und Wissenschaftler Muster extrahieren, die von verschiedenen Faktoren abhängig sind: etwa dem Wetter, dem Brennstoff (also Bäume, Gestrüpp, Gras oder ähnliches) sowie dem Gelände.
Mit den erhobenen Daten trainierten die USC-Forschenden ein generatives, KI-gestütztes Computermodell und testeten es zwischen 2020 und 2022 an echten Waldbränden in Kalifornien aus. Obwohl das Modell zunächst mit simulierten Daten unter idealen Bedingungen, wie etwa in flachem Gelände bei einseitigem Wind, trainiert worden war, schnitt die Vorhersage gut ab. Die Forschenden führen das darauf zurück, dass tatsächliche Waldbranddaten aus den Satellitenbildern in das KI-Modell eingeflossen sind.
heise Security Podcast "Passwort" beschäftigt sich mit Prompt Injections
Die siebte Folge des Podcasts "Passwort" von heise security befasst sich mit Prompt Injections, einer Angriffsmethode auf KI-basierte Software. Die Hosts Christopher und Sylvester erklären, dass Prompt Injections vergleichbar mit Remote Code Execution in der klassischen IT-Sicherheit sind. Bei erfolgreichen Angriffen können Angreifer die Kontrolle über die zugrunde liegende Sprach-KI übernehmen.
Prompt Injections ermöglichen es Angreifern, KI-Systemen neue Aufträge oder Identitäten unterzuschieben, Tools und APIs aufzurufen oder Daten zu exfiltrieren. Die Anfälligkeit von Sprach-KIs für solche Angriffe wird diskutiert, ebenso wie die Schwierigkeit, diese durch einfache Eingabevalidierung zu verhindern.
Die Folge ist auf allen gängigen Podcast-Plattformen verfügbar.
(igr)
