Statt Scraping: KI-Firmen schließen Verträge mit Wikipedia für Datenzugriff
Lange haben KI-Firmen für das KI-Training auf Wikipedia-Inhalte zugegriffen und dort die Serverlast steigen lassen. Nun nutzen immer mehr eine Alternative.
(Bild: Allmy/Shutterstock.com)
Pünktlich zum 25. Geburtstag der Wikipedia hat die Wikimedia Foundation bekannt gegeben, dass inzwischen auch mehrere KI-Firmen dafür zahlen, dass sie ihre Modelle mit Inhalten der beliebten Onlineenzyklopädie trainieren dürfen. Für speziell dazu eingerichtete Zugänge von Wikimedia Enterprise hätten jetzt Microsoft, Mistral AI, Perplexity, Pleias und ProRata die Lizenzierungsvereinbarungen unterschrieben, heißt es in der Stellungnahme. Hinzu kommt der Suchmaschinenanbieter Ecosia aus Deutschland. Genutzt worden sei die Schnittstelle vorher bereits von Amazon, Google und Meta, schreibt die Gesellschaft noch. Zusammen unterstützten sie die Wikipedia und könnten gleichzeitig mit der benötigten Geschwindigkeit auf Inhalte zugreifen.
Noch vor weniger als einem Jahr hat die Wikimedia Foundation beklagt, dass Scraper für das Training von KI-Modellen für einen drastischen Anstieg der Bandbreite für Downloads von Multimedia-Inhalten verantwortlich seien. Besonders problematisch war, dass sie kontinuierlich auf alle und auch sonst selten abgerufene Inhalte zugriffen. Dabei sei die Wikipedia eigentlich so aufgebaut, dass sie auf plötzlich ansteigendes Interesse an einzelnen Inhalten vorbereitet sei, hieß es damals. Die KI-Scraper wurden dann dafür verantwortlich gemacht, dass während der Zugriffsspitzen alle Besucher und Besucherinnen mit längeren Ladezeiten konfrontiert waren, einfach weil die Grundlast zu hoch war.
Videos by heise
Im Herbst hat die Wikimedia Foundation deshalb begonnen, darauf zu drängen, dass KI-Firmen für ihre Zugriffe die separate Schnittstelle (API) benutzen, die für automatisierte, strukturierte Abfragen geschaffen wurde. Deren Tarife sind dabei nicht öffentlich, und auch jetzt nennt die Wikimedia Foundation keine Zahlen zu den Einnahmen, die die neuen Verträge versprechen. Für sie dürfte sich das Vorgehen aber schon lohnen, wenn die Grundlast bei den Zugriffen sinkt und die damit verbundenen Kosten geringer werden. Man habe etwas gebraucht, um zu verstehen, was die Firmen genau bräuchten, sagte Lane Becker von Wikimedia Enterprise der Nachrichtenagentur Reuters. Aber jetzt sähen alle Partner ein, dass sie sich für die Aufrechterhaltung der Wikipedia einsetzen müssten.
(mho)