Crowd Sensing und Social Data Mining mit Mobilen Agenten

Gestaltung von Umfragen - Kochrezepte

Die Umfrage

1. Der Umfrageprozess beginnt mit der Formulierung der allgemeinen Forschungsfrage.

2. Ziel der Umfrage ist es, diese Frage zu beantworten.

3. Zu diesem Zweck muss die Forschungsfrage in eine Reihe von Variablen (sowohl Ziel- als auch Hilfsvariablen) übersetzt werden, die in der Umfrage gemessen werden sollen.

4. Die Werte dieser Variablen werden verwendet, um eine Reihe relevanter Populationsparameter zu schätzen.

5. Zusammen sollten die Werte dieser Parameter einen ausreichenden Einblick bieten.

6. Fragen müssen definiert werden, um die Werte der Variablen zu erhalten.

7. Zusammen bilden diese Fragen den Fragebogen.

^{Siehe Bethelem, 2007, Applied Survey Methods A Statistical Perspective}

Die Fragen

Tatsächliche Fragen (Sachfragen)

• Sachfragen werden gestellt, um Informationen über Tatsachen und Verhalten zu erhalten.

• Es gibt immer einen individuellen wahren Wert.

• Dieser wahre Wert könnte zumindest theoretisch durch andere Mittel bestimmt werden, als dem Befragten eine Frage zu stellen.

• Beispiele für sachliche Fragen sind:

  • “Wie hoch ist Ihr regulärer Stundensatz für diesen Job?”,
  • “Besitzen oder mieten Sie Ihren Wohnsitz?” Und
  • “Haben Sie eine Internetverbindung in Ihrem Haus?”

Die Fragen

• Die Tatsache, die gemessen werden soll, muss genau definiert werden.

  • Ein kleiner Unterschied im Fragentext kann zu einer wesentlich anderen Antwort führen.
  • Beispielsweise kann eine Frage nach der Anzahl der Räume im Haushalt erhebliche Probleme verursachen, wenn nicht klar ist, was einen Raum ausmacht und was nicht. Sollten eine Küche, ein Badezimmer, ein Flur und ein Treppenabsatz enthalten sein?

• Präzise Fragestellung und Vorabtests durchführen (Sprache ist mehrdeutig)

Die Fragen

Nicht tatsächliche Fragen (Nicht-sachlich)

• Nicht-sachliche Fragen fragen nach Einstellungen und Meinungen.

• Eine Stellungnahme spiegelt normalerweise Ansichten zu einem bestimmten Thema wider, beispielsweise das Wahlverhalten bei den nächsten Wahlen.

• Eine Haltung ist ein allgemeineres Konzept, das Ansichten über ein umfassenderes, oft komplexeres Thema widerspiegelt.

• Mit Meinungen und Einstellungen gibt es keinen wahren Wert. Sie messen einen subjektiven Zustand des Befragten, der mit anderen Mitteln nicht beobachtet werden kann.

• Die Einstellung existiert nur im Kopf des Befragten.

Mobiles Crowdsensing mit Chatbots die Diskussionsforen und Soziale Medien explorieren liefern häufig Antworten (Analysen) auf solche nicht-sachlichen Fragen!

Antworten

Meinungen

• Es gibt Situationen, in denen Menschen sich keine Meinung zu einem bestimmten Thema gebildet haben!

• Sie beginnen erst, wenn sie mit der Frage konfrontiert werden, darüber nachzudenken.

Nach dem gedächtnisbasierten Modell von Zaller (1992) sammeln Menschen alle Arten von Informationen aus den Medien und von ihren Kontakten zu anderen Menschen. Ein Großteil dieser Informationen wird im Gedächnis gespeichert, ohne darauf zu achten.

• Gerade bei opportunistischen Umfragen im MCWS ist dieser Umstand zu beachten!

Antworten

• Wenn die Befragten eine Meinungsfrage beantworten müssen, können sie einige der relevanten Informationen abrufen, die im Speicher gespeichert sind.
  • Aufgrund der Einschränkungen des menschlichen Gedächtnisses wird nur ein Teil der Informationen verwendet.
  • Dies sind die Informationen, die sofort in den Sinn kommen, wenn die Frage gestellt wird.
  • Dies sind häufig Informationen, die erst kürzlich im Speicher gespeichert wurden.

Der Fragentext

Verständlichkeit

• Die Fragen sollten verständlich mit der Zielgruppe angepassenten üblichen Vokabular gestaltet werden!

  • Beispiel:
    Do you think that food prices are increasing at (1) the same rate as a year ago, (2) at a faster rate, (3) or at a slower rate?
  • Ökonomen verstehen diese Frage richtig (Ausssage in der Frage: die Preise werden steigen!)
  • Nichtfachkundige verstehen aber eher darunter die Frage ob die Preise steigen oder fallen werden → Missverständnis und Fluch von Multiple-choice Fragen!

• Unbestimmte Wörter wie “normalerweise”, “regelmäßig”, “häufig”, “oft”, “kürzlich” und “selten” müssen vermieden werden, wenn kein zusätzlicher Text vorhanden ist, der erklärt, was sie bedeuten!

Der Fragentext

Eindeutige Fragen

• Vermeide mehdeutige Fragen.
  • Wenn der Fragentext so ist, dass verschiedene Befragte die Frage möglicherweise unterschiedlich interpretieren, sind ihre Antworten nicht vergleichbar.
  • Wenn bei einer Frage beispielsweise nach dem Einkommen gefragt wird, muss klar sein, ob es sich um ein wöchentliches, monatliches oder jährliches Einkommen handelt.
  • Es muss auch klar sein, ob die Befragten ihr Einkommen vor oder nach Abzug der Steuern angeben sollten.
• Eine vage Formulierung kann auch zu Interpretationsproblemen führen.

Der Fragentext

Kurze Fragen

• Vermeide lange Fragetexte.

  • Der Fragentext sollte so kurz wie möglich sein.
  • in Befragter, der versucht, eine lange Frage zu verstehen, kann einen Teil des Textes weglassen und somit die Bedeutung der Frage ändern.
  • Lange Texte können auch zu Abölenkung der Befragten führen, was zu einer verminderten Motivation führt, weiterzumachen.
  • Aber: Natürlich sollte der Fragentext nicht so kurz sein, dass er mehrdeutig wird.

  Wenn ein Fragentext zu lang erscheint, kann er in zwei oder mehr kürzere Fragen aufgeteilt werden.

• Einige Untersuchungen zeigen, dass längerer Fragetext manchmal zu besseren Antworten führt. Längerer Text möglicherweise besser für offene Fragen zu “bedrohlichen” Themen.

Der Fragentext

Ein Indikator ist die Wortlänge einer Frage, die Anzahl der Silben in der Fragen und das Verhältnis Silben/Wörter!

Weitere Do not Do:

• Vermeide Leitfragen. Eine Leitfrage ist eine Frage, die nicht neutral gestellt wird, sondern die Befragten in Richtung einer bestimmten Antwort führt.
  • Beispiel:
    Do you agree with the majority of people that the quality of the health care in the country is falling?
  • Enthält einen Hinweis auf die “Mehrheit der Menschen”. Es deutet darauf hin, dass es sozial unerwünscht ist, nicht zuzustimmen.
  • Eine Frage kann auch leitend werden, indem die Meinung von Experten in den Fragentext aufgenommen wird.

Der Fragentext

• Vermeide Dinge zu fragen, die die Befragten nicht wissen.
  • Ein Fragetext kann sehr einfach und völlig eindeutig sein, aber es kann dennoch unmöglich sein, ihn zu beantworten.
  • Dies kann passieren, wenn die Befragten nach Fakten gefragt werden, die sie nicht (genau) kennen oder abschätzen können.
  • Beispiel:
    How many hours did you listen to your local radio station in the past 6 months?

Der Fragentext

• Vermeide sensible Fragen.
  • Sensible Fragen sollten so weit wie möglich vermieden werden.
  • Sensible Fragen befassen sich mit Themen, die für die Befragten möglicherweise peinlich sind.
  • Solche Fragen können zu ungenauen Antworten führen. Die Befragten können sich weigern, Informationen zu Themen wie Einkommen oder Gesundheit bereitzustellen.
  • Die Befragten können auch vermeiden, eine Antwort zu geben, die sozial unerwünscht ist.
  • Stattdessen können sie eine Antwort liefern, die sozial akzeptabler ist.

Aber mittels opportunistischen Umfragen und Mobilen Crowdsensing sowie Anonymisierung könnten solche Fragen eher korrekt beantwort werden!!

Der Fragentext

• Vermeide verschachtelte Mehrfachfragen.

  • Eine Frage muss jeweils eine Sache erfragen.
  • Wenn in einer Frage mehr als eine Sache erfragt wird, ist unklar, was die Antwort bedeutet.
  • Beispiel:
    Do you think that people should eat less and exercise more?

• Vermeide negative Fragen.

  • Fragen dürfen nicht verneint werden, da dies für die Befragten schwieriger zu verstehen ist und einer Wertung enthält.
  • Die Befragten können durch eine Frage wie verwirrt werden, wie z.B.:
    Are you against a ban on smoking?
Would you rather not use a nonmedicated shampoo?
  • Letzteres Beispiel zeigt doppelte Verneinung → noch schlechter!

Der Fragentext

• Vermeide hypothetische Fragen.
  • Es ist schwierig für Menschen, Fragen zu imaginären Situationen zu beantworten, da sie sich auf Umstände beziehen, die sie noch nie erlebt haben.
  • Im besten Fall ist die Antwort Rätselraten und im schlimmsten Fall eine totale Lüge.
  • Beispiel:
    If you were the president of the country, how would you stop crime?

Antworttypenklassen (Formularlayout)

Geschlossene Fragen

• Eine geschlossene Frage wird verwendet, um qualitative Variablen zu messen.

1. Binäre Aussagen : {wahr, falsch}
   • Beipiel:
     Q: Ist die Erde eine Kugel
A: {wahr, falsch}
     
2. Mehrfachauswahl von kategorischen Symbolen (statisch) : { case₁, case₂, .., case_n, others }
   • Beispiel:
     Q: Welche Farbe hat der Himmel im Sommer?
A: {rot,blau,grün,unbekannt}
   • Die Abfrage eines others Falles ist wichtig!
   • Es gibt mutual exlusive Mehfachauswahl (nur einer Auswahl möglich) oder mutiple Auswahlen im Bereich [i,k]

Antworttypenklassen (Formularlayout)

3. Metrische und numerische Werte (i.A. innerhalb eines vorgegeben Intervalls und Genauigkeit): x=[a,b](step)
   • Beispiel:
     Q: Wie alt sind Sie?
A: [1,99](1)

Offene Fragen

4. Offene Fragen und Freiformantworten (Text) mit begrenzter Länge: Text(min/max length)
   • Beispiel:
     Q: Beschreiben sie kurz Ihren letzten Traum (20-500 Worte) (huh! böse, sensible Frage!)
     A: "...."

Fragenkataloge

Statische Fragenkataloge

• Die Reihenfolge und Auswahl (Sichtbarkeit) von Fragen ist statisch vorgegeben
  • D.h. jede Frage wird unabhängig von vorherigen Antworten gestellt

Dynamische Fragenkataloge

• Die Reihenfolge und Sichtbarkeit von Fragen kann von vorherigen Antworten abhängen

• Nach einer Antwort kann ein dynamischer Überblick über die Antworten anderer Befragter gezeigt werden mit der Möglichkeit die eigene Antwort zu revidieren! (Backtracking)

Fragenkataloge

Auswahl der Stichprobe

Ingredients  Population size N 
             Sample size n 
             Random values u from the interval [0, 1)
Step 1       Fill a vector v of length N with the numbers from 
             1 to N: v[1]=1, v[2]=2, ..., v[N]=N
Step 2       Set the counter i to 1 
Step 3       Compute a random value u from [0, 1)
Step 4       Compute the sequence number k=[i+(N-i+1)*u]. 
             The square brackets denote rounding down to the nearest integer
Step 5       Exchange the values of elements v[i] and v[k] 
Step 6       If i is smaller than n, 
             increase the value of i with 1 and go back to step 3
Step 7       If the value of i is equal to n, sample selection is ready. 
             The first n elements v[1], v[2], .. ., v[n] of the vector v contain 
             the sequence numbers of the sampled elements

Auswahl der Stichprobe