Stiftung Warentest verteidigt Antivirus-Testmethode

Stiftung Warentest hat Stellung zur Kritik an den Ergebnissen ihres aktuellen Antivirentests genommen. Am Dienstag hatten acht Hersteller von Virenschutzprodukten sowie das Testlabor AV-Test einen "offenen Brief an die Stiftung Warentest" veröffentlicht. Darin werden die Durchführung des Tests sowie die Bewertung der Ergebnisse scharf kritisiert. Darüber hinaus fordern die Unterzeichner, dass Stiftung Warentest die Testergebnisse im folgenden Heft relativieren möge. Eine solcher offener Brief ist, gelinde gesagt, höchst ungewöhnlich.

Auf die Kritik reagierte Stiftung Warentest zuerst in den Kommentaren zum Test auf seiner Website und gestern mit einer offiziellen Stellungnahme. Diese wiederholt größtenteils bereits bekannte Argumente, führt darüber hinaus aber auch zusätzliche Punkte ins Feld.

Der Testbeschreibung im Heft zufolge wurden die Virenwächter ausschließlich getestet, indem 1800 Schädlinge in eine virtuelle Maschine kopiert wurden. Dies legte nahe, dass der Test nur die Erkennung durch Signaturen und heuristische Analyse berücksichtigte und die Verhaltenserkennung moderner Scanner ausgeklammert hat. Die Stellungnahme ergänzt nun, darüber hinaus sei "Schadsoftware auf den Rechnern ausgeführt" worden – sowohl mit als auch ohne Internet-Verbindung. Bei einer derartigen Überprüfung müsste bei den Security-Suiten auch die Verhaltenserkennung zum Tragen gekommen sein.

Stiftung Warentest betont, dass das Testverfahren in Zusammenarbeit mit einem Fachbeirat erstellt worden sei. Gegenüber heise online bestätigte der zuständige Projektleiter, dass zum Fachbeirat auch Vertreter dreier Antivirus-Hersteller gehörten. Pikanterweise haben zwei von diesen auch den "Offenen Brief" unterzeichnet. Im Fachbeirat hätten die Vertreter allerdings keine Bedenken am Testverfahren gezeigt.

Von heise online darauf angesprochen, erklärte einer der Antiviren-Hersteller, dies treffe in dieser Form nicht zu: Es sei durchaus Kritik am vorgeschlagenen Testverfahren geäußert worden. Jedoch habe der Beirat nur eine beratende Rolle gespielt und keinen direkten Einfluss auf die Testmethodik gehabt.

Stiftung Warentest führt zusätzlich ins Feld, dass alle Hersteller der Testkandidaten im November 2011 das Prüfprogramm zur Kenntnis erhalten haben. Dies bestätigten zwei Hersteller gegenüber heise online. Das macht es schwer zu verstehen, weshalb die Hersteller erst jetzt und derart öffentlich auf den Testaufbau reagieren.

Insgesamt bleiben aber viele Fragen offen. Zwar erwähnt bereits das heise online vorliegende Prüfprogramm, dass Schadcode auch gestartet werden müsse. Das eigentliche Testverfahren sowie die Auswertung der Ergebnisse bleiben jedoch weiterhin im Dunkeln. Einerseits betont Stiftung Warentest die Wissenschaftlichkeit seiner Testmethoden, andererseits fehlen Details zur Schädlingsauswahl, der Methodik bei der Funktionsüberprüfung und bei der Gewichtung der Ergebnisse.

Klar ist mittlerweile, dass die Funktionsprüfungen nicht von Stiftung Warentest selbst durchgeführt wurden, sondern von einem externen Testlabor. Um welches es sich dabei handelt, mögen die Verantwortlichen auf keinen Fall preisgeben. Hierzu Dr. Holger Brackemann, Leiter des Bereichs Untersuchungen der Stiftung Warentest: "Die Stiftung Warentest veröffentlicht grundsätzlich nicht die Namen der beauftragten Prüflabore. Zum einen, um die Labore nach der Veröffentlichung des Tests vor wirtschaftlichen Folgen zu schützen. Zum anderen, um vor der Veröffentlichung des Tests eine Einflussnahme durch Herstellerfirmen auszuschließen." Diese Position ist zwar durchaus legitim, bedeutet andererseits aber auch, dass entscheidende Informationen zur Bewertung der Qualität des Tests weiterhin unbekannt bleiben werden. (ghi)