Apache Atlas 1.0 mit überarbeiteter DSL-Suche

Das Governance- und Metadaten-Framework für Hadoop liegt ab sofort als Major Release in Version 1.0 vor. Unter anderen wurden das Web UI von Atlas sowie die Entity-Suche neu gestaltet.

In Pocket speichern vorlesen Druckansicht 1 Kommentar lesen
Apache Atlas 1.0 mit überarbeiteter DSL-Suche
Lesezeit: 2 Min.
Von
  • Matthias Parbel

Die Apache Software Foundation hat Atlas Version 1.0 vorgelegt. Das Framework stellt eine Reihe von skalier- und erweiterbaren Governance-Diensten zur Verfügung, mit deren Hilfe Unternehmen Compliance-Anforderungen in Hadoop-Umgebungen erfüllen können. Vor allem im Hinblick auf die Arbeit von Data Scientists, Data Analysts und Data Governance-Teams erlaubt Apache Atlas umfassendes Metadatenmanagement – einschließlich der Erstellung von Datenbestandskatalogen, deren Klassifizierung sowie deren Governance.

In der neuen Version 1.0 haben die Macher vor allem das Web UI von Atlas grundlegend überarbeitet, aber auch die integrierte DSL-(Domain Specific Language)-basierte Suchfunktion neu geschrieben und vereinfacht. Die DSL-Suche orientiert sich an SQL, abstrahiert aber weitestgehend von der Datenbankstruktur. Anwender können ihre Suche außerdem gezielt auf ein gewünschtes Ausgabeformat hin optimieren. Ab Atlas 1.0 gilt es jedoch, einige Änderungen zu berücksichtigen – beispielsweise beim Filtern und Aussortieren von Ergebnissen. Wird dabei ein String-Attribut benutzt, muss dessen Wert jetzt in doppelten Anführungszeichen gesetzt werden.

Die Verbesserungen des UI betreffen einerseits die Entity-Suche nach Typ, Klassifizierung. Attributwerten oder auch Freitext. Darüber hinaus soll sich die Herkunft von Daten intuitiver nachvollziehen lassen, während diese die verschiedenen Verarbeitungsprozesse durchlaufen. Neu in Atlas 1.0 sind unter anderen ein Hook für HBase sowie die Einführung von Benachrichtigungen im V2-Stil. Der Wechsel auf V2 soll generell zu besserer Performance der Atlas Hooks beitragen. Optimierungen haben die Macher auch im Bereich der Zugangriffskontrolle vorgenommen. Die Sicherheit von Metadaten lässt sich nun noch detaillierter steuern, bis hinab auf die Ebene der Entity-Instanzen. Atlas 1.0 unterstützt ab sofort auch offiziell Cassandra und Elasticsearch – zunächst allerdings noch im Rahmen eines Tech-Preview.

Eine Übersicht aller Verbesserungen und Neuerungen in Apache Atlas 1.0 findet sich in den Release Notes. Das Governance- und Metadaten-Framework steht über die Projekt-Website der Apache Software Foundation zum Download parat. (map)