LinkedIn gibt ein Projekt zum Ausführen von TensorFlow auf Hadoop frei

Das soziale Netzwerk LinkedIn hat das Framework TonY quelloffen zur Verfügung gestellt Es soll das native Ausführen von TensorFlow auf dem Big-Data-Framework Apache Hadoop ermöglichen. Die Abkürzung TonY steht dabei für "TensorFlow on YARN" (Yet Another Resource Negotiatior). Mit TonY sollen Entwickler entweder einzelne Nodes oder verteilte TensorFlow-Trainings als Hadoop-Applikation laufen lassen können.

Im Blogbeitrag zur Ankündigung erklärt LinkedIn, dass sie zunächst die Projekte TensorFlow on Spark und TensorFlowOnYARN ausprobiert hatten, die jedoch für ihre Zwecke nicht geeignet waren. TensorFlow on Spark verfügt über kein GPU Schedulung oder ein heterogenes Container Scheduling, während TensorFlowOnYARN wohl nicht mehr weiterentwickelt wird. Deshalb habe man sich dafür entschieden, ein eigenes Produkt zu entwickeln, dass Nutzern die komplette Kontrolle über die Ressourcen in einem Hadoop-Cluster bieten soll.

Der Aufbau von TonY

TonY besteht aus drei Komponenten: dem Client, ApplicationMaster und TaskExecutor. Einen Job in Tony auszuführen gliedert sich in sechs Arbeitsschritte. Zunächst übergeben Nutzer den Code eines TensorFlow-Trainingmodells, die Weitergabeargumente sowie die virtuelle Python-Umgebung an den Client (1). Dieser setzt den AppplicationMaster auf und gibt ihn an das YARN-Cluster weiter (2). Des Weiteren verwaltet er in Absprache mit dem Ressourcenmanager von YARN die Aufteilung der Ressourcen (3). Hat der Application Master eine Zuteilung erhalten, sendet er TaskExecutor an die entsprechenden Nodes (4). Die Executor führen den Code des Users aus und warten auf seine Fertigstellung (5). TonY überprüft in der Zwischenzeit sporadisch, ob alle einzelnen Teile auch noch funktionieren (6).

Das gesamte Projekt befindet sich auf GitHub. TonY bietet einen Support das Werkzeug TensorBoard und kann außerdem das GPU-Scheduling von Hadoop nutzen. (bbo)