.NET for Apache Spark verbindet .NET-Entwicklung mit der Big Data Engine
Microsoft stellt die erste Hauptversion des Open-Source-Pakets zur Verfügung und macht Spark-Anwendern die UDFs von .NET zugänglich.
Microsoft veröffentlicht Version 1.0 von .NET for Apache Spark. Das Open-Source-Package soll die .NET-Entwicklung mit der Plattform zur Big-Data-Verarbeitung verbinden.
Apache Spark skaliert komplexe Datenanalysen und Machine-Learning-Anwendungen über einen Cluster. Die Software hat sich als Standardwerkzeug bei der Analyse großer Datenmengen etabliert und ist in der Programmiersprache Scala geschrieben.
Unterstützung für .NET-Applikationen
Das aktuelle Release bietet neben der Unterstützung für .NET-Applikationen für den .NET-Standard 2.0 oder älter auch die Möglichkeit, benutzerdefinierte Funktionen von .NET (user-defined functions, kurz: UDFs) zu Verwenden.
Darüber hinaus erhalten Nutzer Zugriff auf die DataFrame APIs von Apache Spark (Version 2.3, 2.4 und 3.0) sowie die Möglichkeit, Spark SQL zu verwenden – ein Modul von Apache Spark zum Verarbeiten und Abfragen strukturierter Daten.
Die Big-Data-Engine liegt aktuell in der dritten Hauptversion [1] vor. Weiterführende Informationen zu .NET for Apache Spark finden sich in den Release Notes [2] und im Beitrag auf dem .NET-Blog von Microsoft [3]. Dort findet sich auch eine ausführliche Anleitung, wie Entwicklerinnen und Entwickler ihre Projekte starten können.
(mdo [4])
URL dieses Artikels:
https://www.heise.de/-4941207
Links in diesem Artikel:
[1] https://www.heise.de/news/Apache-Spark-3-0-liefert-erweiterte-SQL-Funktionen-und-ein-Update-der-Python-API-4789579.html
[2] https://techcommunity.microsoft.com/t5/azure-synapse-analytics/microsoft-and-the-net-foundation-announce-the-release-of-version/ba-p/1820908
[3] https://devblogs.microsoft.com/dotnet/announcing-version-1-0-of-net-for-apache-spark/
[4] mailto:mdo@ix.de
Copyright © 2020 Heise Medien