Gastbeitrag von Simeon Abel und Gregor Burkart von PollPool

Auf den ersten Blick scheinen Onlineumfragen eine effiziente und attraktive Methode zur Datenerhebung zu sein. Sie bieten eine schnelle, einfache und günstige Möglichkeit, einen großen Teilnehmerpool zu erreichen. Doch auch Onlineumfragen sind nicht frei von methodologischen Problemen. Insbesondere der Coverage Bias, der Non-Response Bias und der Self-Selection Bias führen oft zu unzureichender Datenqualität von freiwilligen Onlineumfragen.

Dieser Blogeintrag beleuchtet die möglichen Gefahren durch die oben aufgeführten Biases, nennt mögliche Ansätze für eine Minimierung dieser Verzerrungen und stellt Onlinepanels sowie Umfragenetzwerke als effektive Alternative für internetbasierte empirischen Forschungsprojekte heraus.

Das Internet hat in die Prozesse der sozialwissenschaftlichen Datenerhebung Einzug gehalten. Besonderer Beliebtheit erfreuen sich dabei Onlineumfragen, was verständlich ist, liegen ihre Vorteile doch vermeintlich auf der Hand: Nicht nur ersparen sie Forscher bei der Fragebogenerstellung viel Zeit und Geld, sondern erleichtern auch die Auswertung des erhaltenen Datensatzes. Zu befürchten ist allerdings, dass diese Vorteile mit geringerer Datenqualität erkauft werden.

Zunächst: Wie werden Umfrageteilnehmer typischerweise gefunden? Eine grundlegend diversifizierte Teilnehmergruppe zu erhalten ist für den Umfrageersteller extrem zeitaufwändig und schwer zu kontrollieren. Die typischen Medien zur Suche nach Umfrageteilnehmern sind das Teilen der Umfrage auf sozialen Netzwerken, Einladung per E-Mailverteiler und die direkte Teilnahme von Familie und Freunde des Umfrageerstellers.

Entsprechend sind drei Arten der Datenverzerrung bei Onlineumfragen besonders evident:

Coverage Bias

Der Coverage Bias beschreibt eine potenzielle Verzerrung im Datensatz. Diese Verzerrung kann entstehen, wenn die per Befragung erreichbare Population nicht der Grundgesamtheit entspricht. So werden Onlineumfragen typischerweise über die oben aufgeführten Medien an den Bekanntenkreis des Erstellers geteilt. Wenn bei einer Hochrechnung allerdings Aussagen über die Gesamtbevölkerung getroffen werden sollen, also auch über Menschen, die nicht aus dem unmittelbaren Umfeld des Umfrageerstellers kommen, dann kann bei systematischen Abweichungen bestimmter Merkmale ein Coverage Bias die Folge sein.

Non-Response Bias

Der Non-Response Bias bezeichnet in der Marktforschung eine Verzerrung des Ergebnisses, die dadurch entsteht, dass Antwortende andere Antworten geben als diejenigen geben würden, die nicht geantwortet haben. Gerade in den sozialen Medien existiert eine hohe Rate an non-respondents, die das Datenset verfälschen können.

Self-Selection Bias

Der Self-Selection Bias ist eine Verzerrung, die bei Non-Probability Samples auftritt, also wenn eine Person selbst entscheiden kann, ob sie an einer Umfrage teilnimmt. Klassische Onlineumfragen laufen fast ausschließlich über self-selection der Teilnehmer. Wenn sich die zur Teilnahme motivierten Personen in ihrer Meinung systematisch von der Zielpopulation unterscheiden, dann können Hochrechnungen für die Gesamtpopulation verzerrt werden.

Darüber hinaus gibt es weitere Schwierigkeiten bei Onlineumfragen, welche Forschungsprojekte erheblich behindern und verzerren können, wie beispielsweise das Problem einer hohen Abbruchrate sowie Mehrfachbeantwortungen.

Was sind Lösungsansätze für eine Erreichung repräsentativer Ergebnisse?

Statistische Verfahren

Eine Möglichkeit bieten statistische Methoden, mit dessen Hilfe die Verzerrungen ausgeglichen und so ein repräsentativeres Ergebnis erreicht werden kann. Oversampling, Multiple-Site-Entry, Quota Sampling und Gewichtungsverfahren sind Lösungen, die repräsentativere Ergebnisse ermöglichen.

Umfragenetzwerke / Onlinepanels

Eine simplere und oft effektivere Variante stellen Onlinepanels oder Umfragenetzwerke wie PollPool dar. www.poll-pool.com basiert auf einem einfachen sharing-economy Konzept, das die Teilnehmerfindung zeiteffizient und selbstbestimmt macht und zeitgleich zu statistisch besseren Ergebnissen führt. Umfrageersteller beantworten dabei selbst vorhandene Umfragen auf der Plattform und erhalten dadurch Antworten auf die eigene Umfrage. Sämtliche Benutzer auf PollPool sind so Umfrageteilnehmer und die Plattform entgegnet durch ihre Struktur den typischen statistischen Verzerrungen:

Durch eine breite, heterogene und länderübergreifende Benutzerbasis kommt es zu keinem Coverage Bias der Umfrageteilnehmer. Die Notwendigkeit, andere Umfragen auf der Plattform beantworten zu müssen, eliminiert den Non-Response Bias und minimiert dabei auch den Self-Selection Bias. Abbruchraten existieren auf diesen Plattformen aufgrund des Anreizsystems nicht, und Mehrfachbeantwortungen sind systemseitig unterbunden.

Während sich bei frei im Internet distribuierten Umfragen vor allem durch Coverage und Self-Selection Bias verursachte Probleme ergeben und die Zusammenstellung eines repräsentativen E-Mail oder Postverteilers extrem zeitaufwändig ist, ist die Nutzung eines Umfragenetzwerks für die Teilnehmerfindung die hochrangigste Art der internetbasierten empirischen Forschung und führt zu den statistisch besten Ergebnissen, wie nachfolgend illustriert.

	Ansprache nicht-zufallsgesteuert	Ansprache zufallsgesteuert
Teilnehmer individuell bekannt	Umfragenetzwerk (PollPool)	E-Mail, Post, Fax, Telefon
Teilnehmer nicht individuell bekannt	frei distributierte Umfragen	zufällige Stichprobe

Es bleibt dem Forscher selber überlassen, ob er den statistischen Problemen der Onlineumfragen über statistische Korrekturen oder Umfragenetzwerke entgegnet – solange dieser sich der möglichen statistischen Verzerrungen seines Datensets bewusst ist!

Bethlehem, J. (2010). Selection Bias in Web Surveys. International Statistical Review, 78(2), 161-188.


Bosnjak, M., & Tuten, T. L. (2003). Prepaid and Promised Incentives in Web Surveys. Social Science Computer Review, 21(2), 208-217.


Couper, M. P. (2000). Web Surveys – A Review of Issues and Approaches. Public Opinion Quarterly, 64, 464-494.

Hauptmanns, P., & Lander, B. (2003). Zur Problematik von Internet-Stichproben. Wiesbaden: Springer Fachmedien.

Kutsch, H. B. (2007). Repräsentativität in der Online-Marktforschung. Köln: Josef Eul Verlag GmbH.


Theobald, A. (2000). Das World Wide Web als Befragungsinstrument. Wiesbaden: Springer.


Theobald, A., Dreyer, M., & Starsetzki, T. (2003). Reliabilität und Validität in der Online-Forschung. Wiesbaden: Gabler Verlag.

Kurzvorstellung PollPool

Auf der Suche nach Umfrageteilnehmern? Mit PollPool findest du schnell und kostenlos Teilnehmer für deine Umfrage. Einfach deinen Umfragelink auf www.poll-pool.com teilen, andere Umfragen ausfüllen und zeitnah die gewünschte Teilnehmerzahl erreichen!

PollPool – Dein Umfragenetzwerk. Gib Antworten, erhalte Resultate.