Nvidia will mit Open-Source-Toolkit Chatbots sicherer machen
Nvidia hat das Toolkit "NeMo Guardrails" veröffentlicht. Chatbots wie ChatGPT, die auf großen Sprachmodellen basieren, sollen damit sicherer werden.
(Bild: Erstellt mit Midjourney durch heise online)
Nvidia hat ein Open-Source-Toolkit veröffentlicht, das KI-Chatprogramme sicherer machen soll. Das Toolkit heißt "NeMo Guardrails" und soll "Leitplanken" für große Sprachmodelle aufstellen (Large Language Models, LLM). Dies ermögliche es Entwicklerinnen und Entwicklern laut Nvidia, "sichere und vertrauenswürdige LLM-Konversationssysteme" zu programmieren. Das Toolkit funktioniere mit allen LLMs, inklusive ChatGPT.
Drei Regelkategorien
Mit NeMo Guardrails sollen Entwickler Regeln aufstellen können, die definieren, wie ein Chatbot auf Nutzereingaben reagiert. Momentan gebe es drei Kategorien für diese Regeln: "topical guardrails", damit der Chat inhaltlich nicht vom Weg abkommt, "safety guardrails", um Desinformation zu verhindern, und "security guardrails" gegen schädlichen Code.
NeMo Guardrails basiere auf von der Community entwickelten Toolkits wie LangChain, schreibt Nvidia in einem Blogeintrag. LangChain ist ein Framework, das spezialisiert ist auf die Entwicklung von Anwendungen, die auf Sprachmodellen basieren. Außerdem nutze das neue Toolkit Nvidias Programmiersprache Colang, mit deren Hilfe mit natürlichsprachigen Befehlen Chatbots entwickelt werden können, so Nvidia.
Lesen Sie auch
Generative KI: Die Geschichte hinter ChatGPT
ChatGPT befeuert Diskussion
Ende November 2022 veröffentlichte OpenAI den Chatbot ChatGPT. Seitdem wird weltweit verstärkt über den sicheren Einsatz von Sprachmodellen diskutiert. Im Interview erklärt die Datenschutzbeauftragte des Landes Schleswig-Holstein, wie die deutschen und europäischen Behörden OpenAI prüfen.
(gref)