….Dass ein besonderer Datentyp herausgehoben wird, hier standardisierte Befragungen (die anderen werden stiefmütterlich behandelt), weil sie als verlässliche Messdaten gelten, ist schon eine Engführung und Einschränkung der Datenqualität.
— Sascha Liebermann (@SaschaLieberman) April 16, 2025
Siehe zu dieser Frage auch hier.
Der Volksverpetzer hat vor zwei Jahren schon einen informativen Beitrag zu den Fallstricken und Eigenheiten standardisierter Befragungen veröffentlicht, der für Interessierte gut lesbar ist. Darin wird auf die Schwierigkeiten eingegangen, repräsentative Daten zu gewinnen, auf die Fehlertoleranz der Messungen und anderes mehr.
Nicht erwähnt – und das ist grundlegend – wird hingegen die problematische Datenqualität aufgrund der Eigenheiten standardisierter Befragungen, in denen die ihr Handeln deutenden Subjekte in Messvariablen zerlegt werden und in der Messung als Individuen nicht mehr in Erscheinung treten, so dass die Zusammenhänge der gemessenen Variablen nicht rekonstruierbar ist. Um das Handeln zu verstehen, müssen aber die Deutungswelten der Einzelnen in ihrem inneren Zusammenhang bestimmt werden, das geht am besten und genauesten auf der Basis nicht-standardisierter Datentypen (Transkripte von Forschungsgesprächen – Interviews oder andere von der Praxis hervorgebrachte Daten) und einer detaillierten Auswertung, wie sie in manchen Verfahren der sogenannten qualitativen Sozialforschung durchgeführt wird. Die in der Datenform liegende Beschränkung der Datenqualität solcher Befragungen reicht also viel weiter und ist grundlegender als die im oben verlinkten Beitrag erwähnten Eigenheiten.
Siehe zu diesen Fragen auch unseren früheren Kommentare hier und hier.
Sascha Liebermann
Das ist ein wichtiger Aspekt der Datenqualität wegen. Wichtiger noch ist, dass es standardisierte Befragungen sind, sie geben also keinen differenzierten Einblick in widersprüchliche bzw. widerstreitende Denkhaltungen der Personen. ….
— Sascha Liebermann (@SaschaLieberman) April 6, 2025
Siehe zu diesen Fragen auch unseren früheren Kommentare hier und hier.
Sascha Liebermann
Hartmut Rosa stellt die Ergebnisse von #Triggerpunkte in Frage (überzieht wohl, aber trifft auch etwas – dass die Leute so lange liberal, aufgeklärt und ökologisch sind, wie es sie lebensweltlich und materiell wenig tangiert und gar nicht einschränkt):
„Wenn man Menschen nach… https://t.co/teNSkl5R8Z— Bennie Lamm🎙 (@trilmm) January 25, 2024
Auf diese Differenz weist der Beitrag hier hin, der auf ein Gespräch zwischen Hartmut Rosa und Steffen Mau in der Süddeutschen Zeitung zurückgeht. So treffend der Hinweis ist, dass es einen erheblichen Unterschied macht, ob man Antwortskalen bzw. vordefinierte Antworten Gesprächspartner vorlegt und aus deren Angaben dann Schlüsse zieht oder deren Ausführungen in ihrer konkreten Gestalt untersucht, wie es in ausführlichen Forschungsgesprächen möglich ist, so wenig erschöpft sich letzteres in „ja, aber“-Konstruktionen. Forschungsgespräche geben einen viel detaillierteren Einblick nicht nur in die Denkwelt einer Person, sondern auch in ihre Haltung zur Welt, die sich in den Äußerungen manifestiert. In der öffentlichen Diskussion spielen solche Daten leider eine viel zu geringe Rolle, in der sozialwissenschaftlichen Forschung sind sie zwar etabliert, machen aber auch den kleineren Teil der Forschung aus.
Sascha Liebermann
Davon abges. gehen Umfragen davon aus, dass die Befragten klar benennen könnten, weshalb sie sich für oder gegen etwas entschieden haben. Das entspricht nicht dem, was man in offenen Forschungsgesprächen („Interviews“) antrifft. Insofern sind Umfragen erheblich überschätzt (2/2)
— Sascha Liebermann (@SaschaLieberman) October 18, 2023
Gestern wurde eine neue Studie veröffentlicht, bei der über 1.500 Kinder und Jugendliche befragt wurden.
Sie misstrauen den Medien, glauben an Verschwörungsmythen, hieß es von der taz bis zur ZEIT.
Dabei hat die Studie gravierende handwerkliche Mängel. Ein Worst-Of
— Bent Freiwald (@BentFreiwald) August 31, 2022
…dem widmet Bent Freiwald wieder einmal (siehe auch hier) einen langen Thread auf Twitter. Damit kommt er einer wichtigen Aufgabe als Journalist nach, und zwar die Öffentlichkeit über Studien, ihre Datenbasis und die daraus gezogenen Schlüsse aufzuklären sowie Rückfragen zu stellen, statt einfach aufzuspringen auf die Berichterstattung darüber.
Standardisierte Befragungen, Skalenwerte und Schlussfolgerungen, weiterlesen
Anlässlich des Threads @SDullien habe ich mal in die ifo-Studie geschaut.https://t.co/8OoPYGPNFq [PDF]
Und ganz ehrlich, ich kann’s nicht fassen: eine „deutschlandweite Umfrage unter mehr als 1 000 Eltern von Schulkindern“ als Basis für Aussagen zur Bildungsqualität?1/7 https://t.co/YLToQoHTzH
— SeTh (@EconomicEthics) August 5, 2020
…der Eltern, daraus „Bildungsqualität“ abzuleiten, ist abenteuerlich. Selbst die Schlussfolgerungen in der Studie, worauf Sebastian Thieme hinweist, sind nicht zwingend. Fallrekonstruktive Bildungsforschung scheint hier ein Fremdwort zu sein, auch strukturelle Bedingungen von Beschulung unter rigider Schulpflicht in Deutschland müssten ob ihrer Auswirkungen (siehe hier) bei Normalbeschulung bedacht werden und was zuhause womöglich sogar durch individuierten Lernrhythmus besser zu erreichen ist. Die Sache ist also anspruchsvoller, als es eine standardisierte Befragung zu ermitteln erlaubt.
Siehe frühere Beiträge dazu hier. Zur Begrenztheit standardisierter Befragungen siehe hier.
Sascha Liebermann
