.NET for Apache Spark verbindet .NET-Entwicklung mit der Big Data Engine

Microsoft stellt die erste Hauptversion des Open-Source-Pakets zur Verfügung und macht Spark-Anwendern die UDFs von .NET zugänglich.

In Pocket speichern vorlesen Druckansicht

(Bild: whiteMocca/Shutterstock.com)

Lesezeit: 1 Min.
Von
  • Madeleine Domogalla

Microsoft veröffentlicht Version 1.0 von .NET for Apache Spark. Das Open-Source-Package soll die .NET-Entwicklung mit der Plattform zur Big-Data-Verarbeitung verbinden.

Apache Spark skaliert komplexe Datenanalysen und Machine-Learning-Anwendungen über einen Cluster. Die Software hat sich als Standardwerkzeug bei der Analyse großer Datenmengen etabliert und ist in der Programmiersprache Scala geschrieben.

Das aktuelle Release bietet neben der Unterstützung für .NET-Applikationen für den .NET-Standard 2.0 oder älter auch die Möglichkeit, benutzerdefinierte Funktionen von .NET (user-defined functions, kurz: UDFs) zu Verwenden.

Darüber hinaus erhalten Nutzer Zugriff auf die DataFrame APIs von Apache Spark (Version 2.3, 2.4 und 3.0) sowie die Möglichkeit, Spark SQL zu verwenden – ein Modul von Apache Spark zum Verarbeiten und Abfragen strukturierter Daten.

Die Big-Data-Engine liegt aktuell in der dritten Hauptversion vor. Weiterführende Informationen zu .NET for Apache Spark finden sich in den Release Notes und im Beitrag auf dem .NET-Blog von Microsoft. Dort findet sich auch eine ausführliche Anleitung, wie Entwicklerinnen und Entwickler ihre Projekte starten können.

(mdo)