Apache Knox erreicht Version 1.0
Die Schnittstelle für Hadoop-Cluster gilt nun als reif für den produktiven Einsatz. Sie verbindet einen Proxy mit Diensten zur Authentifizierung und Clientschnittstellen. Einige Plattformen haben Knox bereits vor dem 1.0-Release an Bord genommen.
- Rainald Menge-Sonnentag
Das Knox-Team bei der Apache Software Foundation hat das Application-Gateway für das Hadoop-Ökosystem in Version 1.0 herausgegeben und damit die Reife für Produktivsysteme unterstrichen. Im Vergleich zu der im Dezember 2017 erschienen Version 0.14 bietet Apache Knox 1.0 vor allem Bugfixes, die technischen Neuerungen halten sich indes in Grenzen. Nennenswert ist die Anpassung der Dependencies an das ebenfalls im Dezember 2017 veröffentlichte Hadoop 3 und eine erweiterte Anbindung an Apache Ambari.
Apache Knox soll eine sichere Zugriffsstelle auf Hadoop-Cluster bereitstellen und besteht aus drei Bestandteilen. Die wesentliche Komponente sind die Proxy-Dienste, die einen Zugriff auf diverse Hadoop-Services integrieren, darunter Apache Ambari, Hive, Solr und Storm sowie den REST-Proxy von Apache Kafka. Das zweite Puzzleteil sind die Dienste zur Authentifizierung zum Zugriff auf die REST API beziehungsweise WebSSO (Web Single Sign-on) für Tools mit passenden Nutzerschnittstellen.
Client-Dienste und Zusammenspiel mit Kerberos
Zum Zugriff auf die serverseitigen Komponenten jenseits der reinen REST API existieren zudem Client-Services als dritte Komponente von Apache Knox. Sie bieten eine Groovy-basierte DSL (Domain Specific Language) und ein KnoxShell-SDK.
Apache Knox ist vor allem als sichere Schnittstelle zu ansonsten nicht weiter nach außen abgesicherten Hadoop-Clustern ausgelegt, lässt sich aber auch zusammen mit Clustern verwenden, die bereits über Kerberos abgesichert sind. Dabei bietet das Gateway eine zusätzliche Abstraktionsschicht, die unter anderem die Hosts und Ports innerhalb des Clusters vor den Clients verbirgt und einheitliche Schnittstelle zu Identity-Management-Produkten bietet.
(Bild: Apache)
Weitere Details, unter anderem hinsichtlich der unterstützten Hadoop-Dienste sowie dem KnoxSSO-Service lassen sich der Knox-Website entnehmen. Die Änderungen gegenüber Version 0.14 listet die Changes-Datei auf. Einige Plattformen wie das vor Kurzem in Version 3.1 erschienene Hortonworks DataFlow haben Apache Knox bereits vor Version 1.0 aufgenommen, was im Hadoop-Umfeld durchaus häufiger vorkommt: Unter andrem Apache Kafka, Flink und Storm waren vor dem jeweiligen 1.0-Release in Distributionen und Plattformen integriert. (rme)
