Big Data: Myriad-Projekt kombiniert Hadoop YARN und Apache Mesos
Myriad bietet Unternehmen die Möglichkeit, die Barriere zwischen isolierten Clustern aufzuheben, genauso wie Hadoop dieses hinsichtlich der Trennung von Datensilos erlaubt.
- Alexander Neumann
Hadoop-Entwickler müssen heute YARN-Prozesse (Yet Another Resource Negotiator) und damit verbundene Hadoop-Workloads meist auf bestimmten Clustern betreiben, die von übrigen Anwendungen isoliert sind, was häufig zu einer schlechten Serverauslastung führt und operative Silos schafft. Das von MapR Technologies, Mesosphere und eBay gestartete Open-Source-Projekt Myriad soll hingegen den parallelen Betrieb mit weiteren Services und Anwendungen in Cloud und Rechenzentren ermöglichen,
Das Framework kombiniert dafür die Leistungen der Cluster-Management-Techniken Hadoop YARN und Apache Mesos, sodass sich Big-Data-Projekte und weitere Workloads in einem einzigen Ressourcenpool zusammenfassen lassen sollen. Damit entfällt offenbar die Entscheidung, ob ein Cluster mit YARN oder Mesos betrieben werden soll, während Mesos gleichzeitig für eine dynamische Steuerung der Ressourcen auch über die CPU hinaus sorgt. Berücksichtigen lassen sich damit auch Nicht-Hadoop-Anwendungen wie fortlaufende Webservices, Streaming-Applikationen (etwa Apache Storm), Build-Systeme, Integrations-Tools wie Jenkins, HPC-Prozesse à la MPI, Docker-Container sowie individuellen Skripte und Applikationen.
Es ist geplant, Myriad als Apache-Incubator-Projekt der Apache Software Foundation im ersten Quartal 2015 einzureichen. Im "Brutkasten" müssen Softwareprojekte beweisen, dass ihre Entwicklung gemäß den Prinzipien der Open-Source-Organisation geschieht.
Siehe dazu auch:
(ane)
