Implementierung von In-Memory-Analytics in der Realität

  • Beitrag vom 19.12.2019

Jedes Unternehmen hat eigene Anforderungen an die Implementierung von In-Memory-Analytics. Dennoch sind konkrete Beispiele aufschlussreich.

Menschen werden immer mehr Daten generieren, als sie verarbeiten können. Umso wichtiger ist es, eine Strategie zu entwickeln, mit der sich die größtmögliche Wertschöpfung auf Basis der Datenressourcen erzielen lässt. Um dieses Ziel zu erreichen, müssen zunehmend Use Cases der Echtzeitanalyse eingesetzt werden. Das wiederum setzt Soft- und Hardware voraus, die diese Anwendungsszenarien unterstützt. Wer sich durch den Einsatz von In-Memory-Analytics einen klaren Vorteil für sein Unternehmen verspricht, sollte sich voll und ganz auf diesen Bereich konzentrieren und entsprechend investieren.

 

Real-World-Szenarien I

Jedes Unternehmen hat andere Anforderungen. Daher sieht auch die Implementierung von In-Memory-Analytics in der Realität unterschiedliche aus. Dennoch sind konkrete Beispiele aufschlussreich. Ein Beispiel: Ein Finanzdienstleistungsunternehmen möchte In-Memory-Analytics zur Betrugserkennung und -prävention einsetzen. Ein solcher Echtzeit-Anwendungsfall erfordert ein äußerst leistungsfähiges System. Die Daten einer Transaktion müssen erfasst werden, noch während diese ausgeführt wird. Anschließend müssen die Daten analysiert und mit früheren Transaktionen und Verhaltensmustern des Kunden abgeglichen werden. Die historischen Daten können auf einer „warmen“ Speicherebene mit mittleren Zugriffszeiten gelagert werden. Infrage kommen hier zum Beispiel Intel Optane™ SSDs oder NAND-basierte SSDs, die eine hohe Verarbeitungsleistung bieten. Die Live-Transaktionsdaten können währenddessen über den Point of Sale verarbeitet werden. Einen Teil der Analyse und der Datenbereinigung und -filterung (z. B. abgebrochene Transaktionen aussortieren, die keinen Erkenntnisgewinn bringen) kann die Edge-Infrastruktur übernehmen, bevor die kritischen Daten in ein zentrales Repository überführt werden. Für diesen Prozess können entweder CPU-basierte Edge-Geräte oder auch ein Field Programmable Gate Array (FPGA) verwendet werden, wenn die Daten komprimiert und/ oder verschlüsselt werden müssen bzw. wenn die Leistung am Netzwerkrand zu gering ist.

Sobald die Live-Transaktion das zentrale Repository (in der Cloud oder on-premise) erreicht, lassen sich die aktuellen und die historischen Daten vergleichen. Mithilfe von In-Memory-Analytics werden Ähnlichkeiten und Abweichungen erkannt und Muster identifiziert. Eine leistungsstarke Hardware und eine niedrige Latenz sind an dieser Stelle wichtig, um nahezu sofortige Ergebnisse zu erzielen. Ihre Server-Plattform sollte daher über eine skalierbare und kosteneffiziente Speicherlösung mit hoher Kapazität verfügen.

 

Real-World-Szenarien II

Als zweites Beispiel: In einer Gesundheitseinrichtung werden Krebserkrankungen diagnostiziert und Krebspatienten betreut. In diesem Szenario stehen die gesetzlichen Verpflichtungen in Bezug auf Datenschutz und Datensicherheit vermutlich noch über den Leistungs- und Latenzanforderungen (obwohl diese natürlich ebenso eine Rolle spielen). Bei der IT-Infrastruktur wird der Schwerpunkt daher eher auf dem Arbeits- und Massenspeicher als auf der Rechenleistung und der Netzwerkgeschwindigkeit liegen. Erschwerend kommt hinzu, dass die meisten dieser Datensätze sehr umfangreich sind, denn schon ein einzelner MRT-Scan ist mehrere Gigabyte groß. Um sofortige Erkenntnisse für Diagnose- und Behandlungsentscheidungen liefern zu können, muss die Verarbeitung und Analyse von Daten schnell und umfassend skalierbar sein. Das System muss auch Spitzenlasten abfangen können, wenn große Datenmengen eingespeist werden. Bei der Planung des Systems muss also Burst-Kapazität miteingerechnet werden. Bei GPU-basierten Systemen ist das meist schwierig, da sie in der Regel nicht über die Arbeitsspeicherkapazität verfügen, die zum Ausführen dieser umfangreichen In-Memory-Analytics notwendig sind. In diesem Fall kann eine CPU-basierte Plattform mit erweitertem Speicher helfen, Spitzenlasten durch die Bereitstellung zusätzlicher Kapazitäten abzufedern.

 

Implementierung im Unternehmen

Ganz gleich, ob es sich um ein erstes Projekt im Bereich In-Memory-Analytics handelt, oder ob schon einiges umgesetzt wurde: Orientierungshilfen und Best Practices für das nächste Projekt sind hilfreich. Eine Checkliste finden Sie hier.