Konferenz-Spam wird rekursiv
Die Nagib-Callaos-Konferenzen, die dem Wissenschaftszirkus dienen, sind auch wegen des mehrfach bloß gestellten Review-Prozesses berühmt-berüchtigt in der Informatikszene
Nur wer viel publiziert, ist erfolgreich – so ungefähr mag ein sich derzeit verbreitendes akademisches Denkschema aussehen (Von Sub-, Geister-, Ehren- und Vielschreibern). Insbesondere in den Naturwissenschaften scheint an einer großen Zahl von Veröffentlichungen kein Weg vorbeizukommen. Eine Reaktion darauf sind die Nagib-Callaos-Konferenzen. Viele, die irgendwas mit Informatik zu tun haben, werden schon eine Mail von Prof. Nagib Callaos bekommen haben, mit der Frage, ob sie nicht etwas zu einer der vielen jährlich stattfindenden Konferenzen beitragen möchten, deren Titel in dieser oder jener Form Worte wie „Cybernetic“, „Informatics“ und „Systemic“ mit „International Symposium“, „World Conference“ oder gar „World Multi-Conference“ variieren. Das Schema hat jetzt eine neue Wendung genommen: der Konferenz-Spam wird rekursiv.
Professor Callaos gibt jeweils an, für das IIIS zu arbeiten, angeblich eine venezuelanische Non-Profit-Organisation. Während einige sich fragen, ob Callaos tatsächlich existiert, scheint dies doch der Fall zu sein. Was es allerdings mit dem IIIS auf sich hat, bleibt fraglich – die entsprechenden Websites geben nur über die jeweiligen Konferenzen Auskunft, die Website der Organisation selbst ist passwortgeschützt. Das ist schon einmal seltsam.
Prof. Justin Zobel vom MIT ist dieser Frage ebenfalls nachgegangen (warum, dazu gleich mehr), und hat letztlich einen Hinweis gefunden: Im Firmenregister des US-Staats Florida ist das INTER-NATIONAL INSTITUTE OF INFORMATICS & CYBERNATICS, INC. [Sic!] eingetragen. Als Inhaber werden Bekis und Nagib Callaos genannt.
Über den wissenschaftlichen Werdegang von Callaos existieren dagegen so gut wie keine Informationen; ein Blogger analysiert das einzige im WWW aufzufindende Paper von Callaos selbst und findet einiges darin seltsam. Auch dort findet sich zum Lebenslauf von Callaos nur der Hinweis, dass er in seiner Dissertation einen Nobelpreisträger widerlegt habe.
Für die Nagib-Callaos-Konferenzen werden relativ hohe Teilnahmegebühren verlangt, zudem gibt es gewisse Abdruckgebühren für die Proceedings. Gleichzeitig werden sehr viele Menschen eingeladen, etwas für eine der Konferenzen einzureichen – und die sind thematisch so breit angelegt, dass irgendwas immer passt. Der Verdacht, dass es sich hierbei um eine Gelddruckmaschine handelt, liegt nahe, wird aber natürlich von Callaos bestritten. Klar ist jedenfalls: Akademische Anerkennung finden die Konferenzen nicht, auch wenn sich inzwischen in dem einen oder anderen Lebenslauf Papers finden, die auf einer dieser Konferenzen präsentiert wurden. Insgesamt hat das Nagib-Callaos-Konferenz-Imperium einen Durchlauf von mehreren tausend Papers pro Jahr, die natürlich alle reviewed werden müssen.
Verständlich, dass es dabei zu dem einen oder anderen Fehler kommt. Eine solche Seltsamkeit machte vor kurzem Medienfurore: Es wurde berichtet, dass es Computerstudenten gelungen sei, ein von einem Programm geschriebenes Nonsense-Paper erfolgreich bei einer wissenschaftlichen Konferenz einzureichen ("Rooter", Sokal und die fabelhafte Welt der Kybernetik). Anscheinend war hier das gleiche passiert wie bei der Sokal-Affäre vor einigen Jahren, als ein Chaos-Text erfolgreich von einem etablierten post-modernen Journal, Social Text, angenommen wurde. Was in den Medien allerdings kaum eine Rolle spielte, war ein wichtiger Unterschied. Diesmal ging es um die Konferenz: „World Multiconference on Systemics, Cybernetics and Informatics 2005“, Orlando, Florida, mit dem Konferenz-Chair Nagib Callaos. Die BBC zitiert ihn dazu wie folgt:
Conference General Chair Nagib Callaos said the paper had been passed because reviewers had not given feedback on it by a set deadline.
"We thought that it might be unfair to refuse a paper that was not refused by any of its three selected reviewers," Mr Callaos told Reuters news agency.
Dies ist allerdings nicht das erste Mal, dass nicht sonderlich sinnvolle Papers erfolgreich von einer Nagib-Callaos-Konferenz angenommen wurden. So berichtet Prof. Julian Zobel über ein Experiment, bei dem drei abgestuft seltsamer werdende Texte eingereicht wurden - alle drei wurden akzeptiert. Vielleicht ein erneuter Fehler im umfangreichen Peer-Review-Prozess der Konferenz? Wahrscheinlich ist es jedenfalls nicht. Während das erste Paper noch als irgendwie sinnvoll angesehen werden könnte (eine Mischung aus zwei existierenden Texten), geht es beim zweiten Paper um einen Algorithmus, von dem gezeigt wird, dass er nicht funktioniert und nicht verbessert werden kann. Dafür finden sich langatmige Abschweifungen etwa über die Badesitten des Autors. Das dritte Paper schließlich wird von Zobel beschrieben als eine surreale Mischung aus Bemerkungen über Information Retrieval, Unsinn und Witzen, z.B.:
The growth of information retrieval corresponded with the popularity of Sartre and existentialism, so that answers simply were; their meaning and content was not relevant. Later, the influence of popular mysticism and Zen philosophies led to a reverse approach, in which answers were not. Anarchists insisted that answers be statements that undermine the question. Another approach has been to attack the implicit dominance of the query and ask whether the query is relevant to the answers, thus seeking equality in the query-answer relationship.
Im Netz lassen sich weitere Beispiele humorvoller Einreichungen finden. Es bleibt also zweifelhaft, ob Callaos Konferenzen irgendeinen Wert jenseits der Profitmaximierung auf der einen Seite und der schnellen Generierung von Publikationslisten auf der anderen Seite haben. Zweifelhaft deswegen, weil es ein durchaus auch jenseits dieses Konferenz-Spams grassierendes Konferenz-Unwesen innerhalb des Wissenschaftsbetriebs gibt, und weil manch ein Organisator einer Konferenz lieber ein großes Herz für seltsame Beiträge zeigt, als zu eng auszusieben, wer vortragen darf.
Kommen wir zum Titel des Beitrags zurück: der Konferenz-Spam wird jetzt rekursiv, Callaos schlägt zurück. So geht es in der Konferenz KCC 2006 um den Zusammenhang aus Wissensvermittlung und Konferenzteilnahme . Bereits eine Woche später findet die KCPR 2006 statt, zu der sicherlich nicht nur ich persönlich eingeladen wurde (nicht nur als Teilnehmer, sondern gar als potenzieller Reviewer). Lassen wir Callaos selbst zu Wort kommen, um den Sinn der Konferenz zu beschreiben, wie er dies in dieser Einladungsmail tut:
Based on your participation in conferences, we would like to consult your opinion and your possible contribution regarding the idea of collecting, in a multiple-author book or symposium proceedings, reflections and knowledge regarding Peer Reviewing and its relationships with Knowledge Communication. It will only take you about 30 seconds to give us your opinion and your potential support as a reviewer and/or paper contributor. […]
As you know, an increasing number of books and papers have been written regarding the weaknesses of peer reviewing in journals, but very few have been written regarding the weaknesses and strenghts of peer reviewing in conferences, symposia, etc.; and regarding the possible solutions to the weaknesses of peer reviewing in both: journals and conferences/symposia/etc. Consequently, we would like to invite you to share your ideas/research in this area by participating in KCPR 2006 to be held in Orlando, FL on July 20-23, 2006.
In anderen Worten: Offensiv wird in einer durchaus humorvoll zu nennenden Volte zurückgeschlagen und auf die zunehmende Kritik an den Callaos-Konferenzen reagiert. Es sollen nun die Schwächen des Peer Review-Verfahrens, also der (anonymen) Begutachtung von wissenschaftlichen Texten durch den KollegInnen-Kreis, diskutiert werden. Nun lässt sich Peer Review durchaus kritisieren – aber Prof. Callaos dürfte nach dem oben dargestellten der letzte sein, dem irgendjemand abnehmen möchte, dass dies in ehrenvoller Absicht geschieht.