zurück zum Artikel

Um die Genauigkeit der Datensammlung für freie Nutzung zu verbessern, schenkt die Suchmaschine Blekko ihre ercrawlten Daten zu existierenden Webseiten der Common-Crawl-Stiftung.

Die Suchmaschine Blekko hat der Common Crawl-Stiftung ihre zwischen Februar und November 2012 gesammelten Daten zu Websites im Internet übermittelt [1]. Die insgesamt 81 TByte Informationen werden von der Stiftung dazu genutzt, ihre eigenen Crawl-Methoden zu verfeinern.

Ziel der Stiftung ist es, möglichst viele Seiten von Menschen für Menschen zugänglich zu machen. "Das Web kann uns unglaubliche Einsichten ermöglichen, wenn wir es nur besser verstehen", schreibt [2] die Stiftung auf ihrer Seite über die Beweggründe für Common Crawl.

Blekko hofft, dass die übergegebenen Daten der Stiftung Zeit sparen. "Common Crawl wird Blekkos Metadaten nutzen, um ihre Crawl-Qualität zu erhöhen, und dabei Spam im Web, Pornoseiten und den Einfluss von übertriebener SEO zu vermeiden", schreibt [3] Greg Lindahl von Blekko. (rzl [4])

URL dieses Artikels:
https://www.heise.de/-1771423

Links in diesem Artikel:
[1] http://blog.blekko.com/2012/12/17/common-crawl-donation/
[2] http://commoncrawl.org/our-work/
[3] http://blog.blekko.com/2012/12/17/common-crawl-donation/
[4] mailto:rzl@heise.de

Copyright © 2012 Heise Medien