Twitter sucht mit Lucene

Mit der Umstellung der Such-Infrastruktur auf die Apache-Software Lucene will Twitter bis zu 10 Milliarden Suchanfragen pro Tag beantworten können.

In Pocket speichern vorlesen Druckansicht
Lesezeit: 1 Min.
Von
  • Dr. Oliver Diedrich

Twitter hat seine Suchinfrastruktur von der mit dem Kauf von Summize übernommenen, MySQL-basierten Technik auf die Apache-Software Lucene umgestellt. Wie das Unternehmen in einem Blog-Eintrag erklärt, war die alte, MySQL-basierte Suche den aktuellen Anforderungen nicht mehr gewachsen.

Derzeit muss die Echtzeitsuche von Twitter über 1000 Tweets pro Sekunde und 12.000 Anfragen pro Sekunde bearbeiten, wobei jeder neue Tweets nach zehn Sekunden indexiert und über die Suche zu finden sein muss. Die neue Suche soll mindestens das Zehnfache davon verkraften können – das wären dann 10 Milliarden Suchanfragen und fast eine Milliarde Tweets am Tag.

Um diese Anforderungen zu bewältigen, haben die Twitter-Entwickler einige Änderungen an Lucene vorgenommen, dabei jedoch die Schnittstellen der Java-Bibliothek unverändert gelassen. Die Änderungen sollen an das Lucene-Projekt zurückgegeben werden. (odi)