Microsoft gibt Quellcode der Python-Bibliothek Lumos frei
Lumos soll Entwicklern bei der Diagnose von Metrik-Regressionen in Web-Scale-Anwendungen helfen.
Lumos ist Microsoft zufolge eine Python-Bibliothek zur automatischen Erkennung und Diagnose von Metrik-Regressionen in Web-Scale-Anwendungen. Das Unternehmen hat den Quellcode des Tools nun für alle Nutzer freigegeben.
Im Rahmen eines technischen Aufsatzes geben Microsoft-Forscher an, dass die Bibliothek in Millionen von Sitzungen in Entwicklerteams in den Kommunikationsdiensten Skype oder Microsoft Teams bereitgestellt wurde. Dabei sollen eine Vielzahl an Metriken erkannt und tausende von Fehlalarmen zurückgewiesen worden sein, die durch Anomalie-Detektoren gemeldet wurden.
Der Ermittlung des Gesundheitszustandes von Onlinediensten gelingt offenbar durch die Überwachung von Key-Performance-Indicator (KPI)-Metriken über einen gewissen Zeitraum. Die Regressionen in diesen Metriken erfordert eine genauere Betrachtung, da sie auf größere Probleme hinweisen kann. Diese wiederum könnten zu höheren Kosten für den Onlinedienst und schlimmstenfalls zum potenziellen Verlust von Benutzern führen. Die Ursache einer KPI-Regression zu erkennen, ist ein langwieriger Prozess, da die Untersuchung einer einzelnen Anomalie den Forschern zufolge Tage oder Wochen dauern kann.
Ein Blick hinter Lumos
An dieser Stelle soll die für die Diagnose von Metrik-Regressionen entwickelte Bibliothek Lumos Abhilfe schaffen. Sie umfasst offenbar vorhandene, domänenspezifische Anomalidetektoren, soll aber die Rate von falsch-positiven Alarmhinweisen über 90 Prozent reduzieren. Lumos stellt dazu eine priorisierte Liste der wichtigsten Variablen zur Erklärung von Änderungen der Metrikwerte bereit und macht somit den Prozess der Feststellung obsolet, ob eine Änderung auf eine Verschiebung der Zahl und des Verhaltens der Nutzer oder eine Aktualisierung des Produktes zurückzuführen ist.
Die Bibliothek dient laut Aufsatz auch dem weiteren Zweck, den Unterschied zwischen zwei beliebigen Korpora (Bias eingeschlossen) innerhalb einer Metrik zu verstehen, indem Lumos einen Vergleich zwischen einem Kontroll- und Treatment-Datensatz vornimmt, während sie der Zeitreihenkomponente gegenüber agnostisch bleibt. Interessierte finden weitere Informationen zu Lumos in der technischen Publikation oder auf GitHub.
(mdo)
