Impressionen aus Vancouver vom 8. C2 Colloquium
Während Deutschland einen Schön-Wetterrekord nach dem anderen ausruft, befinde ich mich gerade im nassen und eher kühlen Vancouver, um am “8th Annual International Campbell Collaboration Colloquium” teilzunehmen. Das Motto der Veranstaltung lautet “Speaking Truth to Power: Evidence for Decisions in Education, Social Welfare, and Criminal Justice”. Es geht also im weitesten Sinne darum, soziale und politische Maßnahmen auf eine empirische Basis zu stellen — im Sinne von Evidence Based Practice (was man nicht immer gut heißen muss).
Meine persönliche Motivation nach Vancouver zu kommen, bestand zum einen in der Präsentation einiger Dissertationsbefunde. Mein methodisch orientierter Vortrag hat an einem Beispiel aus der Schulabsentismusforschung die (möglichen) Unterschiede zwischen Meta-Analysen auf Grundlage von Aggregatdaten (hier: odds ratios) sowie von Individualdaten thematisiert.
Meta-Analysen haben das Ziel, den empirischen Forschungsstand in einem bestimmten Bereich oder zu einer bestimmten Fragestellung zusammenzufassen. Zusammen mit Michael Wagner habe ich beispielsweise eine Forschungssynthese erstellt, die der Frage nach dem erreichten Forschungsstand in der “Scheidungsursachenforschung” nachging — oder kurz gefasst: den Risikofaktoren der Ehescheidung. Es gibt eine Menge empirischer Untersuchungen in diesem Forschungsfeld, auf europäischer Ebene haben wir etwa 120 Arbeiten sichten können (Wagner/Weiß 2006). In dieser Situation den Forschungsstand qualitativ-beschreibend erfassen zu wollen, ist (fast) ein Ding der Unmöglichkeit. Also bestand unsere Aufgabe darin, in einer Art von Inhaltsanalyse alle empirischen Befunde aus den einzelnen Artikeln herauszusuchen und sie zusammen mit anderen Informationen in eine Datenbank einzutragen. Die Einträge in der Datenbank wiederum konnten dann statistisch analysiert werden. Diese empirischen Befunde waren in unserem Fall Regressionskoeffizienten aus ereignisanalytischen Modellen. Weil diese Statistiken das Trennungsrisiko von bestimmten Personengruppen beschreiben (etwa von Frauen oder Personen, die zum Zeitpunkt der Eheschließung unter 21 Jahren alt waren), lassen sie sich auch als Aggregatdaten bezeichnen.[1] In den erwähnten Regressionsmodellen finden sich gewöhnlich mehrere dieser Regressionskoeffizienten und sie haben (teilweise) die unangenehme Angewohnheit, “miteinander zu reagieren” (eine verständlichere Formulierung fällt mir nicht ein). Im Modell von Forscherin A befinden sich Koeffizienten der Merkmale X1, X2 und X3, während Forscher B zwar auch die Koeffizienten für X1 und X3 ermittelt hat, doch er hat X2 weggelassen und dafür X4 in sein Modell aufgenommen. Beide haben also X1 und X2 untersucht, doch die Gelehrten (Brüderl 2004; Wagner/Weiß 2004) “streiten” sich noch darüber, ob sich die Befunde zu X1 und X2 einfach in einer Meta-Analyse zusammenfassen lassen, obgleich sie eigentlich nicht miteinander vergleichbar sind. Jetzt kommen die Individualdaten ins Spiel: Wenn ich die Originaldaten habe, nicht länger nur die publizierten Studienbefunde, dann kann ich (a) meine eigenen Aggregatdaten produzieren und (b) auf Grundlage der Individualdaten Modelle schätzen und dann die Ergebnisse von (a) und (b) miteinander vergleichen. Genau das habe ich mit Datensätzen zum Schulschwänzen gemacht. Um genau zu sein, habe ich mich der Frage gewidmet, ob Jugendliche mit Migrationshintergrund häufiger die Schule schwänzen als deutsche Jugendliche. Das methodische Ergebnis meiner Untersuchungen lautet, dass auf Grundlage von Aggregatdaten sämtliche Kennziffern zur Erfassung der statistischen Unsicherheit (Standardfehler, Zwischenstudienvarianz) unterschätzt und der eigentliche Zusammenhang von Schulschwänzen und Migrationshintergrund überschätzt wird — das gilt nur für meinen spezifischen Datensatz, ich habe also eine Fallstudie durchgeführt. Das war — sehr kurz gefasst — das Thema (beziehungsweise das Problem) meines Vortrags.
Meine persönliche Motivation bestand des Weiteren darin, mit Forschenden in Kontakt zu kommen, die sich mit ähnlichen Fragestellungen befassen. So gabe es etwa eine Veranstaltung “Complexities in Meta-analysis” in der uns zwar in 90 Minuten 5 Vorträge um die Ohren gehauen wurden, die aber mehr als spannend waren. Federführend war Betsy J. Becker, die drei Präsentationen gegeben hat, die beiden anderen wurden von Ihren Studentinnen (Soyeon Ahn und Ying Zhang) bestritten. Tatsächlich thematisierte einer ihrer Vorträge auch mein Problem mit der Meta-Analyse von Regressionskoeffizienten. Sie hat ihre Ausführungen auf das klassische lineare Modell bezogen und schlägt vor, die Koeffizienten in “semi-partial correlations” umzuwandeln und diese dann zu synthetisieren. Ich weiß noch nicht, ob mich das überzeugt; auf jeden Fall werde ich mir ihre Artikel zu diesem Thema genau angucken. Meine Idee, sich dem Problem mit einer Simulation zu nähern, konterte sich locker mit dem Hinweis, dass einer ihrer Studenten sich im Rahmen seiner “doctoral thesis” schon damit befassen würde.
Heute (Dienstag) habe ich mir unter anderem einen Vortrag von Ray Block angehört, der zusammen mit Betsy J. Becker ein Projekt zur Messung von politischem Interesse bearbeitet. Titel seines Vortrags war “Be Specific!” How Item Specifity can Influence Self-Reported Levels of Political Interest”. Seine Ausführungen haben sich unter anderem mit dem zeitlichen Wandel des politischen Interesses (in den USA) befasst und vor allem der Frage, inwieweit beobachtbare Veränderungen tatsächlich sozialen Phänomenen geschuldet sind oder nicht eher (unbeabsichtigte) Methodeneffekte (Platzierung der Items, Anzahl der Antwortkategorien) sind. Der Gehalt an Meta-Analyse war gering, doch der Vortrag war gut.
Erwähnenswert ist schließlich noch die Präsentation von Therese Pigott, Meng-Jia und Ryan Williams, die über “Methods of synthesizing regression results” gesprochen haben. Ja, das Thema kam nun schon mehrfach vor… Die Schwierigkeit mit der Meta-Analyse von Regressionskoeffizienten ist, wie oben erläutert, dass sie verschiedenen Modellen entstammen, in denen für unterschiedliche Variablensets kontrolliert wurde (X1,X2,X3 vs X1,X2,X4). Pigott et al. haben nun die Idee gehabt, das als ein “missing data”-Problem aufzufassen. Forscherin A hat nicht für X4 kontrolliert und Forscher B nicht für X3. Auf Grundlage einer Korrelationsmatrix (die man leider auch eher selten in den Publikationen antrifft) simulieren sie entsprechende Individualdatensätze und wenden dann typische Imputationsverfahren an. Anschließend lassen sich alle fehlenden Koeffizienten schätzen und können anschließend in die Meta-Analyse eingehen. Soweit die Theorie. Ryan war so nett, mir nur etwa 58 Minuten nach ihrem Vortrag ihr paper zuzuschicken. Doch das kann ich mir erst in Köln genauer angucken.
Außerdem könnte ich noch von einem sehr unterhaltsamen Vortrag von Ben Levin berichten, der über “Evidence for Decision-Making in Education” gesprochen hat. Es ging viel um “knowledge mobilization” und gegen Ende kam mehrfach der Hinweis auf die Nützlichkeit von Web2.0-Techniken für die Forschung, die Forschenden und die Vermittlung von Forschung. Mehr gibt es hier.
[1] Um genau zu sein, stammt der Begriff aus dem medizinischen Zweig der Meta-Analyse und dort ist von “aggregate patient data” die Rede. Ich verwende “aggregate person data”, kurz APD.
Literatur
Josef Brüderl, 2004: Meta-Analyse in der Soziologie: Bilanz der deutschen Scheidungsursachenforschung oder “statistischer Fruchtsalat”?, Zeitschrift für Soziologie 33: 84-86.
Wagner, Michael, und Bernd Weiß, 2004: Die Bilanz der Scheidungsforschung bleibt eine Bilanz. Eine Antwort auf Josef Brüderl. Zeitschrift für Soziologie 33: 87-89.
Wagner, Michael, und Bernd Weiß, 2006: On the Variation of divorce risks in Europe: Findings from a meta-analysis of European longitudinal studies. In: European Sociological Review 22: 483-500
