Datasets: Die LF AI & Data Foundation nimmt Datashim in ihren Inkubator auf

Datashim eröffnet einen deklarativen, transparenten Zugriff auf Datensätze in Kubernetes- und OpenShift-Anwendungsumgebungen. Die LF AI & Data Foundation hat das auf IBM zurückgehende, rund zwei Jahre alte Open-Source-Projekt nun in ihren Inkubator aufgenommen. Mit Unterstützung durch die Community soll sich Datashim dort weiterentwickeln, wachsen und für den Einsatz in Produktion reifen.

Dataset CRD für Kubernetes und OpenShift

Als Kubernetes-Framework ist Datashim dazu ausgelegt, den Zugriff auf unterschiedliche Datenquellen für Pods in Kubernetes- und OpenShift-Umgebungen zu ermöglichen und zu verwalten. Dazu greift Datashim auf die Custom Resource Definition (CRD) Dataset zurück, die als Zeiger auf vorhandene S3- und NFS-Datenquellen sowie HostPath-Volumes dient. Da das Projekt zudem kompatibel mit dem Container Storage Interface (CSI) ist, sollen in Zukunft weitere Datenquellen zugänglich gemacht werden.

Datashim stellt Entwicklerinnen und Entwicklern die erforderliche Logik bereit, mit der sich die Datensätze in Persistent Volume Claims und ConfigMaps abbilden lassen, auf die Nutzer anschließend in ihren Pods verweisen können. Ein Dataset lässt sich in Datashim mit wenigen Zeilen Code anlegen und beschreiben. Der beispielhafte Persistent Volume Claim example-dataset steht in den Pods dann für Schreib-Lese-Operationen zur Verfügung:

apiVersion: com.ie.ibm.hpsys/v1alpha1
kind: Dataset
metadata:
  name: example-dataset
spec:
  local:
    type: "COS"
    accessKeyID: "{ACCESS_KEY_ID}"
    secretAccessKey: "{SECRET_ACCESS_KEY}"
    endpoint: "{S3_SERVICE_URL}"
    bucket: "{BUCKET_NAME}"
    readonly: "true" #OPTIONAL, default is false  
    region: "" #OPTIONAL

Weitere Informationen zu Datashim finden sich im Blogbeitrag der LF AI & Data Foundation sowie auf der Projektwebsite und im GitHub Repo.

(map)