.NET for Apache Spark verbindet .NET-Entwicklung mit der Big Data Engine
Microsoft stellt die erste Hauptversion des Open-Source-Pakets zur Verfügung und macht Spark-Anwendern die UDFs von .NET zugänglich.
(Bild: whiteMocca/Shutterstock.com)
Microsoft veröffentlicht Version 1.0 von .NET for Apache Spark. Das Open-Source-Package soll die .NET-Entwicklung mit der Plattform zur Big-Data-Verarbeitung verbinden.
Apache Spark skaliert komplexe Datenanalysen und Machine-Learning-Anwendungen ĂĽber einen Cluster. Die Software hat sich als Standardwerkzeug bei der Analyse groĂźer Datenmengen etabliert und ist in der Programmiersprache Scala geschrieben.
UnterstĂĽtzung fĂĽr .NET-Applikationen
Das aktuelle Release bietet neben der Unterstützung für .NET-Applikationen für den .NET-Standard 2.0 oder älter auch die Möglichkeit, benutzerdefinierte Funktionen von .NET (user-defined functions, kurz: UDFs) zu Verwenden.
Darüber hinaus erhalten Nutzer Zugriff auf die DataFrame APIs von Apache Spark (Version 2.3, 2.4 und 3.0) sowie die Möglichkeit, Spark SQL zu verwenden – ein Modul von Apache Spark zum Verarbeiten und Abfragen strukturierter Daten.
Die Big-Data-Engine liegt aktuell in der dritten Hauptversion vor. Weiterführende Informationen zu .NET for Apache Spark finden sich in den Release Notes und im Beitrag auf dem .NET-Blog von Microsoft. Dort findet sich auch eine ausführliche Anleitung, wie Entwicklerinnen und Entwickler ihre Projekte starten können.
(mdo)
