STAMMTISCH und Meinungsfred

Wie immer gilt: "Dieser Beitrag stellt ausschließlich eine persönliche Meinung dar. Er erhebt weder Anspruch auf vollständige Richtigkeit, noch sollte jemand seine Inhalte ungeprüft übernehmen."
Ich distanziere mich von den von mir verlinkten Webseiten und weise darauf hin, dass sie sich zwischenzeitlich ohne Angabe verändert haben können.

---

Ich habe das irgendwo hier im Forum schon mal gepostet, aber ich will das Thema noch mal aufgreifen. Viele vermeintliche Erkenntnisse der Sozialwissenschaft sind eigentlich keine solchen. Jedenfalls, sofern man unter "Erkenntnis" ein durch feste Beweise gesichertes Wissen versteht.
Es sollte eigentlich selbstverständlich sein, dennoch sage ich es noch mal ausdrücklich, dass das natürlich nicht bedeutet, dass die Aussage falsch wäre. Ein Mangel an Beweisen bedeutet eben nicht das Gegenteil, sondern nur Nichtwissen. Es kann sogar gerechtfertigt sein, dass man trotzdem von irgendeiner Hypothese ausgeht. Einfach weil man eine Arbeitshypothese braucht, um z. B. Politik zu machen.

Ein öffentlich bekanntes Beispiel für diese Mangel an gesicherter Erkenntnis ist das, was wir hier im Deutschen die Reproduktionskrise der Psychologie nennen. Im Klartext heißt das nur, viele Ergebnisse aus Studien lassen sich nicht experimentell wiederholen.
Dass man aber eine bestimmte Beobachtung unter den selben Bedingungen wiederholen kann, das ist eine der wesentlichen Merkmale der wissenschaftlichen Methode. Ist diese Reproduktion also nicht möglich, ist das schon eine ernstzunehmende Krise.

Ein schönes Exempel ist der Dunning-Kruger-Effekt. Der besagt, kurz gesagt, dass inkompetente Personen das Ausmaß ihrer Inkompetenz nicht korrekt einschätzen können und sich deshalb eine Meinung zutrauen, die sie rationalerweise nicht haben sollten.
Die Webseite Gleech.org fasst die Studienergebnisse für diesen Effekt wie folgt zusammen:

• "Mixed evidence for the Dunning-Kruger effect. No evidence for the “Mount Stupid” misinterpretation."
  

Besonders bemerkenswert ist, dass der Effekt offenbar nicht so groß ist, wie man denken könnte.

Es gibt noch weitere, interessante Fälle, in denen die Reproduktionskrise zuschlägt. Ein sehr wichtiges Beispiel ist etwa das Priming.
Dieser angebliche psychologische Effekt sagt aus, dass uns gewisse Reize bereits auf eine Bahn bringen, von der wir bewusst nicht mehr abkommen. Das ist übrigens auch die wissenschaftliche Grundlage für die Einführung der Gendersprache. Diese These besagt, dass, wenn wir z. B. nur von "den Ärzten" sprechen und dabei an männliche Ärzte denken, wir Frauen damit das Gefühl geben, sie könnten nicht Ärztin werden. Gesellschaftliche Voraberwartungen beeinflussen demnach also den Erfolg.
Deshalb sprechen wir heute nicht mehr von der Krankenschwester, sondern vom Krankenpfleger und schreiben über Ärzt*Innen.
Wie man allerdings dieser kleinen Webseite und anderen Quellen entnehmen kann, steht diese Politik auf eher wackliger wissenschaftlicher Grundlage. Die Effekte können nämlich nicht verlässlich reproduziert werden.

Die Ursachen für die mangelnde Reproduzierbarkeit sind vielfältig und werden noch diskutiert.
Ein Problem ist sicherlich, dass menschliche Versuchspersonen im Gegensatz zu physikalischen Stoffen sich ihres Verhaltens bewusst sind und dieses je nach Situation verändern. Insbesondere wenn sie wissen, dass sie an einem wissenschaftlichen Experiment teilnehmen.
So schreibt W. Stangl (2022) unter dem Stichwort: 'Replikationskrise':

• "Das liegt teilweise an den Bedingungen des Wissenschaftsbetriebs, der auf Publikationen ausgerichtet ist,[...]"
  
• "Hinzu kommt der Druck von Fachzeitschriften, die vor allem an positiven Resultaten interessiert sind, sodass die meisten veröffentlichten Studien statistisch signifikante Ergebnisse berichten, die sich jedoch in Nachfolgeuntersuchungen nicht bestätigen lassen."
  

Mit anderen Worten haben wir die Tendenz, von "positiven" Funden zu berichten, aber eher weniger von den Wiederholungen. Es ist eben nicht so interessant, einen Versuch nachgestellt und dabei nichts gefunden, wie eine scheinbare Erkenntnis gewonnen zu haben.
Es besteht daher die Tendenz, eher die Behauptung zu hören als die Widerlegung der Behauptung.

Diesen Effekt sind sich inzwischen die meisten Leute auf einer intellektuellen Ebene bewusst. Das hindert aber die Massenmedien nicht daran, dennoch auf Basis von einzelnen Studien zu argumentieren. Insbesondere wenn die eigenen Vorurteile bestätigt werden.
Die FAZ hat zu diesem Thema ebenfalls einen Artikel:

• "In einer großangelegten Untersuchung von 100 bekannten Experimenten aus der Psychologie zeigte nur rund ein Drittel bei der Wiederholung das gleiche Ergebnis. Die Psychologie war weiter Teile ihrer Fundamente beraubt, vor allem derjenige Teil der Psychologie, der sich mit sozialen Fragen beschäftigte. „Replikationskrise“ nannten Forscher das bald – und sie blieb nicht in der Psychologie stehen."
  

So heißt es in Patrick Bernaus im Dezember 2018 erschienen Artikel "Geld ist nicht so übel".

Dort wird auch ein weiteres Problem angesprochen. Man hat sich in der Wissenschaft darauf verständigt, dass eine 95% Wahrscheinlichkeit ausreichend ist, um als Signifikant zu gelten. Diese Entscheidung muss letztlich willkürlich gefällt werden. Soweit ich mich erinnere handelt es sich nämlich um eine Gleichung, erhöht man den Wert in der einen Weise, dann muss die Zufallsstichprobe für einen gewissen Effekt größer werden.
Nun sind 95% auch darstellbar als 19/20 oder eben eine Chance von Neunzehn zu Eins.
Auch das führt zu einer gewissen Verzerrung. Die Studie kann dann nämlich methodisch völlig korrekt sein und trotzdem falsch. Das eben nur zu 5% Wahrscheinlichkeit, was aber bei hundert Studien schon auf einige zutreffen dürfte.

Um jetzt zum Schluss, vielleicht zur Schlussfolgerung zu kommen:
Man sollte aufgrund dieser Fakten aufpassen, wenn man in politischen oder wirtschaftliche Diskussionen bezug auf solche Fakten nimmt und seine Entscheidungen ausschließlich damit begründet. Es könnte am Ende sein, dass diese Faktengrundlage wegfällt. Überraschenderweise ist da sogar der im Vorteil, der mit Prinzipien und Lebenserfahrung argumentiert.

Danke fürs Lesen. Kritik ist ausdrücklich erwünscht.

Wer das Ganze lieber als Bewegtbild sehen will, der soll bitte folgenden Link folgen: hier.

Siehe auch:
Michael Strevens und zwei irrationale Regeln für die Wissenschaften vom 08.12.2021.
Marcus du Sautoy und die Grenzen der Erkenntnis vom 09.07.2021.

der p-Wert 0,05 heißt doch nur, daß von 20 Studien, 1 Studie abweicht/abweichen kann