HIVE: Spezialprozessor für die Graphenanalyse
Die US-Agentur DARPA fördert die Entwicklung eines Prozessors und passender Programmierwerkzeuge für "Streaming Graph Analytics", also für die Erkennung von Zusammenhängen in riesigen Datenmassen.
HIVE-Prozessoren sollen Graphen effizienter analysieren.
(Bild: DARPA)
Die eng ans US-Verteidigungsministerium angebundene Forschungsagentur DARPA fördert mit rund 80 Millionen US-Dollar die Entwicklung eines neuartigen Prozessors für die Graphenanalyse. HIVE steht für "Hierarchical Identify Verify Exploit": Der Chip mit Rechenwerken, die nicht die etablierte von-Neumann-Architektur nutzen, soll dünn besetzte Matrizen (Sparse Matrices) um den Faktor 1000 effizienter und auch schneller untersuchen können als aktuelle Ansätze wie GPU-Computing. Die DARPA fordert dazu unter anderem extrem hohe Datentransferraten beim Zugriff auf zufällige Adressen, nämlich rund 1 TByte/s. Und statt SIMD (Single Instruction, Multiple Data) sei vermutlich eher ein MIMD-Ansatz zielführend: Multiple Instruction, Multiple Data.
Das 2016 ausgeschriebene HIVE-Projekt wurde nun an die Chip-Hersteller Intel und Qualcomm, Institute der Uni Georgia Tech und des Pacific Northwest National Laboratory (PNNL) sowie die Rüstungsfirma Northrop Grumman vergeben. Das gesamte HIVE-Projekt läuft bis 2021.
Streaming Graph Analytics
(Bild: DARPA)
Laut DARPA eignen sich bisherige Ansätze wie CPU- und GPU-Computing sowie auch Googles Tensor Processing Unit (TPU) nicht besonders gut für die Graphenanalyse beziehungsweise Netzwerkanalyse. Ein Grund ist der vergleichsweise langsame Zugriff auf zufällig verteilte Speicheradressen. Der spielt aber bei der Untersuchung dünn besetzter Matrizen eine wichtige Rolle.
Es geht dabei auch um sehr große Datenmengen, die kontinuierlich "einströmen" und untersucht werden sollen: Was kaufen Amazon-Kunden ein und welche Einflüsse gibt es auf ihre Kaufentscheidungen? Wer beeinflusst einen bestimmten Facebook-Nutzer? Sind einige wenige Fälle einer Infektionskrankheit Vorboten einer Epidemie oder Zufälle? Dienen bestimmte Netzwerk-Portscans der Vorbereitung eines Cyber-Angriffs?
GraphChallenge
Noch bis zum 1. Juli läuft die GraphChallenge, deren Ergebnisse im September auf der 2017 IEEE High Performance Extreme Computing Conference (HPEC '17) vorgestellt werden sollen. Ziel sind unter anderem Benchmarks und Musterdatensätze, um die Performance eines neuartigen Graph Analytics Processor (GAP) zu bewerten. Seit einigen Jahren gibt es auch den HPC-Wettbewerb Graph500, bei dem Supercomputer ähnlich wie bei Top500 und Green500 gegeneinander antreten.
An der GraphChallenge beteiligen sich außer der DARPA und HPEC etwa auch das MIT und Amazon AWS.
Konkurrenten
Intel und Qualcomm Intelligent Solutions sollen konkurrierende Hardware-Ansätze entwickeln. Die Wissenschaftler der Georgia Tech und des PNNL sind für Software-Werkzeuge zuständig, mit denen sich die Rohdaten effizient auf mehreren Prozessoren parallel untersuchen lassen. Northrop Grumman baut in Baltimore eine Firma auf, welche die Ergebnisse der verschiedenen Projekte bündelt und auf typische Problemstellungen des US-Rüstungsministeriums (Department of Defense, DoD) anwendet. Die an HIVE beteiligten Chiphersteller dürfen die Ergebnisse ihrer Entwicklungen auch selbst vermarkten.
Der HIVE-Prozessor hat übrigens nichts mit dem SQL-Interface Apache Hive für Big Data zu tun; und auch die "Stinger"-Initiative, aus der Apache Hive hervorgegangen ist, ist wiederum ein anderes als die STINGER-Werkzeuge für die dynamischen Graphenanalyse. (ciw)
