Flexiblere Datenintegration mit der Open-Source-Plattform Airbyte 1.0
Airbyte extrahiert Daten aus unterschiedlichen Quellen und APIs und führt sie in einer zentralen Plattform zusammen – darunter nun auch Vektordatenbanken.
(Bild: Erstellt mit ChatGPT DALL-E)
Die auf ELT-Prozesse (Extract, Load, Transform) zugeschnittene Datenintegrationsplattform Airbyte liegt ab sofort in Version 1.0 vor – nach rund vierjähriger Entwicklungszeit, wie das Airbyte-Team in der offiziellen Ankündigung bekannt gab. Das erste Major Release der Open-Source-Plattform wartet demzufolge auch mit einer Reihe von Neuerungen auf, die eine flexiblere, zuverlässigere und skalierbarere Datenintegration ermöglichen sollen – darunter beispielsweise der Connector Builder, ein neues Command Line Tool sowie Support für OpenID Connect (OIDC) und Okta.
Flexibel konfigurierbare Datenpipelines
Airbyte ermöglicht es, Daten aus unterschiedlichen Datenbanken oder APIs zu replizieren und in einer zentralen Datenplattform zu konsolidieren. Für die flexible Anbindung an Data Warehouses, Data Lakes oder Data Lakehouses stellt Airbyte eine Vielzahl von Konnektoren bereit, die zum Teil auch aus der Community beigesteuert werden. Eine zentrale Rolle nimmt dabei der Connector Builder ein, mit dem sich neue individuelle Konnektoren erstellen und direkt in den Airbyte Marketplace integrieren lassen, wo automatisierte Testroutinen zur Qualitätssicherung beitragen. Mit Freigabe von Version 1.0 der Plattform stehen nun auch offizielle Konnektoren für die Anbindung verschiedener Vektordatenbanken wie pgVector, Pinecone und Snowflake Cortex zur Verfügung.
Für die Verarbeitung sowohl strukturierter als auch unstrukturierter Daten lässt sich Airbyte entweder in einer selbstgehosteten Variante nutzen oder als gemanagter Cloud-Dienst. Zur Installation und dem containerisierten Betrieb der Datenintegrationsplattform hat Airbyte lange Zeit auf Docker Compose gebaut, treibt für lokale Deployments nun aber den Wechsel auf die CLI abctl voran, mit der sich auch die Authentifizierung bei Self-Managed-Installationen verwalten lässt. Eine ergänzende Quickstart-Dokumentation hilft beim Schnelleinstieg in die Open-Source-Version von Airbyte, ein Migration Guide hilft beim Umstieg von Docker Compose auf abctl.
Erweiterte Funktionen in der Enterprise-Edition
Wer einen erweiterten Funktionsumfang und umfassenderen Service benötigt, erhält mit der Self-Managed-Enterprise-Version unter anderem Zugangsverwaltung (Role-based Access Control) und Multi-Tenancy. Ebenso stehen Single-Sign-on (SSO) mit Okta und OpenID Connect (OIDC) sowie die Möglichkeit, sensible Daten zu maskieren, zur Verfügung.
Weitere Neuerungen in Airbyte 1.0 wie eine überarbeitete Workload-Architektur und die erweiterten Benachrichtigungen sollen allen Nutzerinnen und Nutzern zugutekommen und zu mehr Verlässlichkeit sowie Resilienz beitragen. Einen Überblick aller Änderungen im Major Release bietet das Changelog im GitHub-Repository von Airbyte, in dem das Entwicklungsteam auch ankündigt, künftig monatlich neue Versionen vorlegen zu wollen.
(map)