Blekko schenkt Crawler-Daten der Common Crawl-Stiftung

Um die Genauigkeit der Datensammlung für freie Nutzung zu verbessern, schenkt die Suchmaschine Blekko ihre ercrawlten Daten zu existierenden Webseiten der Common-Crawl-Stiftung.

In Pocket speichern vorlesen Druckansicht 1 Kommentar lesen
Lesezeit: 1 Min.
Von
  • Ragni Zlotos

Die Suchmaschine Blekko hat der Common Crawl-Stiftung ihre zwischen Februar und November 2012 gesammelten Daten zu Websites im Internet übermittelt. Die insgesamt 81 TByte Informationen werden von der Stiftung dazu genutzt, ihre eigenen Crawl-Methoden zu verfeinern.

Ziel der Stiftung ist es, möglichst viele Seiten von Menschen für Menschen zugänglich zu machen. "Das Web kann uns unglaubliche Einsichten ermöglichen, wenn wir es nur besser verstehen", schreibt die Stiftung auf ihrer Seite über die Beweggründe für Common Crawl.

Blekko hofft, dass die übergegebenen Daten der Stiftung Zeit sparen. "Common Crawl wird Blekkos Metadaten nutzen, um ihre Crawl-Qualität zu erhöhen, und dabei Spam im Web, Pornoseiten und den Einfluss von übertriebener SEO zu vermeiden", schreibt Greg Lindahl von Blekko. (rzl)