WOS3: Freie Suchmaschinen sollen der Monopolbildung entgegenwirken

Auf der Wizards of OS 3 (WOS) in Berlin betonten Experten die Notwendigkeit, offene Suchalgorithmen zur großflächigen Einsatzreife zu bringen. "Das Suchen ist ein essenzieller Teil der Internet-Navigation", erklärte Doug Cutting, Chefarchitekt des Nutch-Projekts, "aber die Algorithmen werden geheim gehalten." Es gebe daher keine Möglichkeit herauszufinden, warum eine Webseite so und nicht anders in den Suchergebnissen gelistet werde. "Das schafft Manipulationsmöglichkeiten", konstatierte Cutting. "Wir brauchen ein Audit-System, um prüfen zu können, dass Suchmaschinen richtig arbeiten." Dazu komme, dass mit Google, Yahoo und Microsoft letztlich nur noch drei große Spieler das Feld besetzen und die Gefahr des Machtmissbrauchs größer geworden sei.

Nutch selbst ist eines der momentan ambitioniertesten Vorhaben im Bereich der freien Internetsuche. Cutting beeilte sich auf der WOS zunächst zu erläutern, was Nutch alles nicht sei: So geht es den momentan zwei hauptsächlichen Projektverantwortlichen nicht um die Programmierung einer eigenen Endnutzer-Schnittstelle. Vielmehr hoffen sie, dass möglichst viele bestehende Suchmaschinen den offen liegenden Nutch-Suchalgorithmus übernehmen. Darüber hinaus spekulieren sie darauf, dass zahlreiche Administratoren von komplexen Websites und Intranets Nutch implementieren. Es gehe auch nicht um die Gründung eines eigenen Unternehmens, führte Cutting weiter aus. Wie bei vielen anderen Open-Source-Projekten stehe hinter Nutch eine Stiftung, die auch eventuelle rechtliche Probleme abfangen soll. Letztlich sei Nutch kein Forschungsprojekt, auch wenn es viele Möglichkeiten zum Vorantreiben der Suchmaschinenentwicklung böte.

Nutch wird nach Vorstellung seiner Gründer den Motor für eine wachsende Welt freier Suchmaschinen bilden. Wichtig ist laut Cutting dabei, dass man mit offenen Karten spielt. Natürlich könne nicht jeder mit dem potenziell möglichen Einblick in den Algorithmus etwas anfangen, gibt er zu. Aber "die meisten Leute lesen auch keine Gesetze." Aber diese seien öffentlich und könnten von Experten für die Allgemeinheit verständlich gemacht werden. Damit sei es einfacher, Kritik daran zu üben. Über diese allgemeinen Kontrollmöglichkeiten hinaus hat Nutch den Anspruch, die Funktionsweise seines Algorithmus anschaulicher zu machen -- etwa durch grafische Analysewerkzeuge. Ferner gibt es unter jedem von Nutch produzierten Suchergebnis einen Erklärungslink ("Explain"), der die Gründe für eine Rankingposition erläutert.

Auch wenn Nutch momentan noch nirgends im Web im Großflächeneinsatz ist, liefert der Algorithmus laut Cutting bereits respektable Ergebnisse. Wie die meisten Suchmaschinen stützt sich der Spider vor allem auf Hyperlinks und die dazugehörigen Textstellen. Ein einzelner mit dem Nutch-Code bestückter Rechner könne momentan bereits etwa 100 Seiten pro Sekunde scannen und analysieren, was sich beim Einsatz von Parallelrechnern noch deutlich steigern ließe. Insgesamt habe Google bei einem Test mit 25 Eingaben noch knapp besser abgeschnitten, Nutch aber zumindest vergleichbare Ergebnisse geliefert. Wer sich selbst ein Bild machen will, kann dies auf ersten, aber teilweise nicht mehr aktualisierten Implementierungssites wie bei Yahoo Labs, mozDex oder Objects Search tun.

Wolfgang Sander-Beuermann, Projektleiter des Suchmaschinenlabors am Regionalen Rechenzentrum für Niedersachsen und Mitbetreiber der deutschen Metasuche MetaGer, begrüßte auf der WOS die Entwicklung freier Suchmaschinen. Die Idee, dezentralisierte und auf einer unabhängigen Infrastruktur aufbauende Führer durchs Web einzurichten und untereinander über Metasuchmaschinen zu vernetzen, entspreche genau dem Geist des Internet. Von Vorteil sei auch, dass sich die Kosten für den Betrieb viele Einrichtungen teilen würden. Neben Nutch hält Sander-Beuermann für kleinere und mittelgroße Suchprojekte unter anderem ASPseek als Basissoftware geeignet.

Sollten sich die verteilten freien Suchmaschinen nicht durchsetzen, dürfte dem Veteranen zufolge künftig Microsoft dem momentanen Marktführer Google die Spitzenposition streitig machen. Die Netzsuche geht laut Sander-Beuermann verstärkt in die Richtung, dass man komplette Fragesätze in die Suchmasken eingibt und maßgeschneiderte Antworten darauf erhält. "Suchmaschinen sollten wie Bibliothekare funktionieren und in einen Dialog mit dem Nutzer treten", forderte der Experte und verwies dabei auf das Sciencefiction-Vorbild "Star Trek"-TV. Das seien logische Weiterentwicklungen, an denen momentan Microsoft am stärksten arbeite.

Zur Wizards of OS siehe auch:

• Wizards-of-OS-Special in Telepolis
• Nutch: die freie Suchalternative zu Google, Interview mit Doug Cutting in Telepolis

• Heftiger Streit um Urheberrechts-Konventionen der WIPO
• Der Kampf ums freie Breitband-Spektrum
• Wochenende für Wikipedianer
• Creative Commons stellt überarbeitete Lizenzen für geistiges Eigentum vor

• The Future of the Digital Commons, Website der Konferenz

(Stefan Krempl) / (jk)