Intel steigt bei Cloudera ein – und gibt eigene Hadoop-Distro auf

Der Chip-Hersteller steigt nicht nur finanziell beim Hadoop-Distributor Cloudera ein, sondern bringt im Rahmen einer technischen Zusammenarbeit die Besonderheiten seiner Hadoop-Plattform in die des neuen Partners ein.

In Pocket speichern vorlesen Druckansicht 2 Kommentare lesen
Lesezeit: 2 Min.
Von
  • Alexander Neumann

Ohne genauere Angaben über die Summe zu verraten, ist Intel finanziell beim Hadoop-Distributor Cloudera eingestiegen. Dieser hatte erst vorige Woche verkündet, 160 Millionen US-Dollar Risikokapital erhalten zu haben. Darin sind die Mittel von Intel jedoch noch gar nicht enthalten. Eine anonyme Quelle des News-Portals VentureBeat spricht von möglicherweise mehr als 90 Millionen Dollar, die Intel gezahlt haben könnte, andere spekulieren über rund 40 Millionen.

Die beiden Unternehmen wollen technisch und auf geschäftlicher Seite zusammenarbeiten. Die technische Kooperation geschieht unter anderem mit dem Ziel, Clouderas Distribution des Big-Data-Frameworks Apache Hadoop auf Intels Xeon-Prozessorarchitektur abzustimmen. Der Chip-Hersteller will zudem seinen Kunden Cloudera's Distribution including Apache Hadoop (CDH) sowie Cloudera Enterprise als die von Intel bevorzugte Hadoop-Plattform vorschlagen.

Nun hat Intel seit etwas mehr als einem Jahr selbst eine Hadoop-Distribution im Portfolio, die der Konzern nun nicht mehr fortführen wird. Die Besonderheiten der Intel Distribution for Apache Hadoop (IDH) beziehungsweise der darauf aufbauenden Intel Data Platform (IDP) sollen in Clouderas Distro einfließen. Dabei versichern die beiden neuen Partner, den Übergang von IDH/IDP zu CDH möglichst einfach zu halten. Cloudera gibt zudem bekannt, dass die Intel-spezifischen Erweiterungen in die Open-Source-Projekte beziehungsweise die eigene Plattform einfließen.

Hadoop erleichtert die Entwicklung verteilt laufender Anwendungen, die umfangreiche Berechnungen auf großen Datenmengen durchführen. Die Open-Source-Software implementiert Googles MapReduce-Algorithmus, heißt aber mittlerweile auch andere verteilte und nicht verteilte Algorithmen im Hadoop-Cluster willkommen.

Intel stellte bei seiner Distribution eine schnelle Datenver- und -entschlüsselung mit seiner AES-NI-Technik (Advanced Encryption Standard New Instructions) heraus. Durch diese Integration von Chip-basierter Verschlüsselung sind Organisationen offenbar in der Lage, ihre Datensätze ohne große Performanceeinbußen auf sichere Weise mit dem Hadoop Distributed File System analysieren zu können. Außerdem ergänzt der Konzern das Big-Data-Framework um Unterstützung für die parallelen, verteilten Dateisysteme Lustre, das im HPC-Umfeld verbreitet ist, und das von Red Hat geförderte GlusterFS. (ane)