Inhaltsverzeichnis

Wie stellt man aber fest, ob eine solche Schieflage besteht? Matthias Egger, Professor für Sozialmedizin an der Universität Bern, hat bereits 1997 im "British Medical Journal" einen einfachen grafischen Test vorgestellt, mit dem die Autoren von Metaanalysen feststellen können, wie tendenziös das ihnen vorliegende Studienmaterial ist. Bei diesem "Trichterdiagramm" trägt man das zu untersuchende Ergebnis – etwa die Sterberate nach der Behandlung in jeder Studie – auf der x-Achse auf und die zugehörige Probandenzahl auf der y-Achse.

Bei einer sauberen Datenlage formen die Einzelwerte ein gleichschenkliges Dreieck, bei dem die wissenschaftliche Wahrheit der Symmetrielinie durch die Dreiecksspitze entspricht: Studien mit vielen Probanden streuen weniger um den Mittelwert, deswegen ist das Dreieck oben schmaler. Eggers überprüfte 38 Cochrane-Auswertungen von Einzelstudien und 37 Meta-analysen aus renommierten Fachzeitschriften. Das Ergebnis: Immerhin 14 Prozent der Cochrane-Tests und 38 Prozent der Journal-Analysen hatten sich auf tendenziöse Daten verlassen.

Auch Ben Goldacre, Arzt und als Kolumnist bei der britischen Tageszeitung "The Guardian", hat sich der Enttarnung von schlechter Wissenschaft verschrieben. Seine Erfahrungen hat er gerade in dem Buch "Die Wissenschaftslüge" veröffentlicht. Darin ist auch eine beachtliche Liste von gängigen Fälschertricks zu finden, die – abgesehen von der üblichen Praxis, nur die Ergebnisse zu publizieren, die die eigene Position stärken – auch noch die publizierten Ergebnisse selbst verfälschen.

Ein typisches Beispiel sei etwa die Vorauswahl von Probanden, die je nach Gesundheitszustand oder genetischen Variationen positiver auf einen bestimmten Wirkstoff reagieren dürften. Oder es werden Nebenwirkungen "übersehen", weil man sie nicht penibel genug abfragt; erst statistische Korrelationen gesucht und dann die Fragestellung des Versuchs daran angepasst; und bei Vergleichsstudien mit Konkurrenzwirkstoffen eine gute Dosierung für das eigene und schlechte Dosierungen für Alternativpräparate gewählt. Wie absurd das sein kann, zeigt Goldacres Auswertung von Vergleichsstudien verschiedener Schmerzmittel: "Wenn Ibuprofen besser ist als Diclofenac, dann kann nicht gleichzeitig Diclofenac besser sein als Ibuprofen."

Ein beliebter Trick bei Studien zu Vorsorgeuntersuchungen ist es, statt der Sterberate die Überlebensrate etwa nach fünf Jahren festzuhalten. Weil bei Vorsorge-Screenings auch schon sehr frühe Krebsformen gefunden werden, die erst Jahre später Beschwerden verursacht hätten, fallen Fünf- oder Zehn-Jahres-Überlebensraten bei diesen Patienten natürlich eklatant besser aus als bei jenen, die erst viel später zum Arzt gehen. Auch dann, wenn die Getesteten trotz Früherkennung genauso sicher an der bösartigen Veränderung sterben.

Etwas komplizierter ist das sogenannte Rosinenpicken – oder in Statistikersprache die "Veränderung des Studienendpunktes": Jeder klinischen Studie geht die Formulierung eines Ereignisses voraus, das anschließend bei den Probanden gezählt wird, um die Wirkung des Medikamentes zu prüfen: Das kann etwa bei einem Medikament gegen Krebs im Endstadium die Zahl der Patienten sein, die drei Monate nach der Behandlung noch leben. Rosinenpicker formulieren diese Fragestellung einfach im Nachhinein passend zu den Ergebnissen um – etwa in "nach einem Monat", falls sich während des Versuchs herausstellt, dass nach dem ursprünglichen, längeren Zeitraum schon so viele Patienten gestorben sind, dass das ein reichlich düsteres Bild des Medikaments zeichnet. Das kann sogar dazu führen, dass eine Wirkung bewiesen wird, die gar nicht vorhanden ist.

Ein Beispiel dafür ist der antiepileptische Wirkstoff Gabapentin der Pharmaunternehmen Pfizer und Parke-Davis. Als die beiden 2003 in den USA wegen gesetzeswidriger Förderung von sogenannten Off-Label-Verschreibungen verklagt wurden, kamen zuvor nicht veröffentlichte Studiendokumente zum Vorschein, die im Vergleich mit freiwillig publizierten Ergebnissen das Rosinenpicken belegten. In acht der zwölf Publikationen war der primäre Endpunkt verändert worden. Pfizer wies die Vorwürfe zurück.

"Nimmt man all die Indizien zusammen, die wir heute haben, um das Ausmaß der Verfälschung abzuschätzen, dann liegt der Schluss nahe, dass die Ärzte ihre Patienten im Blindflug behandeln", sagt Gerd Antes, Professor für Biometrie in Freiburg und Leiter des deutschen Arms der Cochrane Collaboration. Dieses harte Urteil trifft er trotz der strengen Bedingungen, an die sich er und seine Mitarbeiter bei den Metaanalysen halten: Sie verwenden grundsätzlich nur primäre, noch nicht interpretierte Studienergebnisse und testen die Studiendaten zudem mathematisch auf Verzerrungen, bevor sie über Nutzen und Schaden einer neuen Behandlungsmethode urteilen. Trotzdem kann keiner unter den heutigen Bedingungen mit letzter Sicherheit sagen, welche Beweise echt und welche manipuliert sind.

Gerade die verzögerte Bekanntmachung von negativen Daten wie zum Beispiel im Fall von Reboxetin gefährde Menschenleben. "Stellen Sie sich vor", verdeutlicht Antes die Folgen, "den Probanden einer Studie wird gesagt, dass bisher keine gefährlichen Nebenwirkungen bekannt sind. Und dabei wurden solche unerwünschten Wirkungen längst gemessen, nur eben nicht publiziert."

Wie aber ließe sich diese riskante Schummelkultur verändern? Eine Pflicht zur vollständigen und öffentlichen Publikation wird wahrscheinlich auf absehbare Zeit keine politische Mehrheit finden. Gerd Gigerenzer, Direktor des Berliner Max-Planck-Instituts für Bildungsforschung, glaubt deshalb, dass Patienten und Ärzte gefragt sind, dieses System ins Wanken zu bringen. "Die plumpesten Tricksereien fallen nur deswegen auf fruchtbaren Boden, weil die meisten von uns im Tal der statistisch Ahnungslosen leben." Gigerenzer hat wissenschaftliche Veröffentlichungen, Informationsbroschüren, Presseartikel und Webseiten darauf untersucht, wie sie klinische Studien präsentieren.

Ein häufig angewandter Kniff ist dieser Zahlentrick: Die Ergebnisse werden in absoluten Zahlen oder in Prozent ausgedrückt, je nachdem, welche Darstellung die gewünschte Aussage besser unterstützt. "Sogar Ärzte tappen in diese Falle", sagt der Wissenschaftler. Er rät Medizinern dringend, ihre Statistikkenntnisse auszubauen. Für Patienten hat er einen Leitfaden entwickelt, der sie in leicht verständlicher Weise mit den wichtigsten Fragen rund ums Risiko vertraut macht. "Hat man das erst einmal durchschaut, ist es so einfach, falsche Versprechungen der Medizin zu durchschauen, wie zu überprüfen, ob die Anlagen, die Ihre Bank empfiehlt, wirklich so gut sind, wie sie aussehen." (bsc)