Gütekriterien: 3 Eigenschaften gelungener Fragebögen

Mitarbeiterbefragungen sind ein geschätztes und viel genutztes Instrument der Personalentwicklung. Die Ergebnisse werden verwendet, um positive Veränderungen einzuleiten und Problembereiche zu identifizieren. Um aus einem Fragebogen verwertbare und relevante Informationen gewinnen zu können, müssen jedoch einige Voraussetzungen beachtet werden. Dazu zählen vor allem drei Gütekriterien, die jeder Fragebogen erfüllen sollte, die oft jedoch unbebeachtet bleiben. Diese Eigenschaften dienen als Qualitätsmerkmale und stellen sicher, dass die Umfrage eine möglichst akkurate Abbildung der Wirklichkeit darstellt. Gelungene Fragebögen sollen objektiv, reliabel, valide und repräsentativ sein. Um zu erfahren, was es mit den einzelnen Kriterien auf sich hat und wie sie sichergestellt werden, lesen Sie einfach weiter.

1. Objektivität: Wie manipulierbar ist meine Befragung?

Dass Messungen und Umfragen möglichst objektiv sein sollen, wissen Sie wahrscheinlich bereits. Aber was genau bedeutet Objektivität? Die Objektivität gilt dann als gegeben, wenn die Durchführung und die Auswertung eines Tests unter möglichst geringem Einfluss durch äußere Faktoren geschehen. Diese Störfaktoren können auf mehreren Ebenen auftreten und sollten so gering wie möglich gehalten werden. Dazu zählt etwa die Formulierung der Fragen, die für alle Teilnehmenden verständlich und neutral sein soll. Eine Form der subjektiven Einflussnahme wären zudem Suggestivfragen, die die Antwort der Teilnehmenden unterschwellig in eine Richtung drängen. Auch die Umgebung der Umfrageteilnahme sollte möglichst neutral sein und frei von Chefs und Mitarbeitenden, die über die Schulter blicken können. Hat man beim Ausfüllen einer Mitarbeiterumfrage das Gefühl, unter Beobachtung zu stehen, sinkt die Wahrscheinlichkeit ehrlicher Antworten.

Die Objektivität ist besonders dann gefährdet, wenn die Mitarbeiterumfrage durch Interviews stattfindet. Das hat zweierlei Gründe: Der Interviewer kann Einfluss auf das Antwortverhalten des Befragten durch Suggestivfragen und Mimik (Rosenthal-Effekt) nehmen, während die interviewte Person die Antworten an soziale Erwartungen anpasst. Aber auch beim händischen Übertragen und Auswerten der Antworten von Tests können unter Umständen Fehler passieren und Ergebnisse verzerrt werden. Online-Umfrage-Tools (Link) sind eine objektivere Alternative zu klassischen Papier-Bleistift-Tests oder Interviews, da einige der genannten Fehlerquellen ausgeschlossen sind. Eine Erhebung und Auswertung durch ein erfahrenes externes Unternehmen wie zweikern (Link) kann die Einflüsse subjektiver Verzerrungen zusätzlich minimieren.

2. Reliabilität: Wie zuverlässig ist meine Befragung?

Das zweite Gütekriterium eines Tests ist die Reliabilität. Sie beschreibt die Zuverlässigkeit einer Befragung und gilt dann als gegeben, wenn die Ergebnisse wiederholbar sind. Das bedeutet, dass das mehrmalige Ausfüllen der Umfrage durch einen Mitarbeitenden zu verschiedenen Zeitpunkten die gleichen Ergebnisse erzeugen soll. Man versucht zu diesem Zweck, ergebnisverzerrende Aspekte der Umgebung und der Umfrage selbst zu verringern. Aber auch der Messzeitpunkt und der momentane psychische und körperliche Zustand der Mitarbeitenden können erheblichen Einfluss auf das Ausfüllverhalten nehmen. Für erschöpfte und müde Mitarbeitende steigt die Wahrscheinlichkeit von zu schnellem Lesen und zufällig ausgewählten Antworten. Ein weiterer, zu beachtender Aspekt ist die Reihenfolge der Fragen. Ändert sich diese, kann das auch die Antworten beeinflussen.

3. Validität: Misst meine Befragung, was sie messen soll?

Messen die Fragen der Umfrage auch das Konstrukt, das erfasst werden soll? Dann gilt der Fragebogen als valide. Unter Validität versteht man die Genauigkeit der Messung. Soll beispielsweise die Zufriedenheit der Mitarbeitenden mit der Unternehmenskultur erfasst werden, muss ein valider Fragebogen verschiedenste Aspekte der Kultur wie Umgang mit Fehlern, kollegialer Umgang oder gelebte Werte messen, um als valide zu gelten. Ein umfangreiches Konstrukt (wie die Zufriedenheit) wird also am besten durch mehrere Fragen abgedeckt. Die Validität lässt sich in diese vier Kategorien unterteilen: Inhalts-, Konstrukt-, Kriteriums- und Augenscheinvalidität.

Aspekte der Validität

Erstere beschreibt die bestmögliche Art von Test für die jeweilige erhobene Komponente (zum Beispiel das Durchlaufen von Assessment Center von Bewerber*innen). Die Konstruktvalidität beschreibt den Zusammenhang des Fragebogens mit anderen Tests, die das gleiche Konstrukt erheben. Die Kriteriumsvalidität hingegen bezieht sich auf den Zusammenhang zwischen den Ergebnissen eines Tests und anderen relevanten Werten. So wird von Führungskräften, die eine hohe persönliche Übereinstimmung mit den Werten eines Unternehmens angeben, auch ein dementsprechendes Führungsverhalten erwartet. Mit der Augenscheinvalidität wird überprüft, ob der Test auch für Laien plausibel und verständlich erscheint. Ein valider Fragebogen muss also einigen Überprüfungen standhalten, bevor er als solcher gelten kann. Werden diese Kriterien nicht erfüllt, erhebt der Fragebogen wahrscheinlich nicht das, was gemessen werden soll. Die abgeleiteten Maßnahmen bearbeiten also nicht die wahren Problembereiche, weil die Umfrage die Gütekriterien nicht erfüllt.

Interne und externe Validität

Fragebögen werden häufig nicht von der Grundgesamtheit, sondern nur von einem Teil dieser bearbeitet. Für eine Organisation bedeutet das, dass anstatt aller Mitarbeitenden nur jene an der Umfrage teilnehmen, die zum Erhebungszeitpunkt anwesend sind und Zeit und Motivation zur Teilnahme aufbringen können. Wie lässt sich sicherstellen, dass der erfasste Teil trotzdem das gesamte Unternehmen oder einen gesamten Teilbereich repräsentiert? Mit dieser Allgemeingültigkeit und Generalisierbarkeit der Umfrage beschäftigt sich ein weiterer Teil der Validität, die externe Validität. Die interne Validität hingegen schließt aus, dass das Ergebnis einer Befragung auf zufälligen Variablen beruht. Zu den zufälligen Einflüssen zählen unter anderem die Stimmung, eine Veränderung des Messinstruments oder ein Ausfall von befragten Personen zwischen zwei Messzeitpunkten. Letzterer wird besonders dann zum Problem, wenn die Entwicklung einer Variablen über einen gewissen Zeitraum hinweg erfasst werden soll.

Fazit zu den Gütekriterien von Fragebögen

Mitarbeiterbefragungen stellen ein wirksames und beliebtes Instrument der Personalentwicklung dar. Allerdings müssen Fragebögen einen gewissen Qualitätsstandard erfüllen, damit die Ergebnisse auch repräsentativ und interpretierbar sind. Diese selbst zu überprüfen, kann aufwändig und teuer sein, weshalb die Nutzung eines bewährten Programms (Link) für Mitarbeiterumfragen Zeit und Kosten spart.

 

 

Wenn du eine weise Antwort verlangst, musst du vernünftig fragen.

Von Johann Wolfgang von Goethe