Amazon MTurk
Sie werden Ihren Datensatz wahrscheinlich bereinigen, z. B. basierend auf angewiesenen Antwortelementen (sehr gut), falschen Elementen (auch gut) und / oder Antwortzeiten (fair, erwägen Sie die Verwendung von TIME_RSI).
Sie haben die Worker-IDs aus allen verbleibenden Datensätzen, die Ihren Qualitätskriterien entsprechen. Natürlich könnten Sie alle Zuweisungen in MTurk manuell überprüfen, aber das braucht viel Zeit. Bessere Arbeit mit einer CSV-Datei.
Für die CSV-Datei benötigen Sie die TREFFER-ID und die Zuweisungs-ID. Wenn Sie dem obigen Handbuch gefolgt sind, stehen Ihnen diese Daten zur Verfügung. Erstellen Sie dann eine Tabelle (mit R, SPSS, LibreOffice Calc, Excel, …) mit drei Spalten aus Ihren Daten: Die erste Spalte enthält die TREFFER-ID, die zweite Spalte enthält die Zuweisungs-ID und die dritte Spalte muss für jeden Eintrag ein „x“ enthalten.
Die erste Zeile der Tabelle ist der Header, die Variablennamen. Stellen Sie sicher, dass die Variablennamen wie folgt lauten (Groß- / Kleinschreibung beachten):
-
HITId
-
Zuweisungs-ID
-
Genehmigen
Speichern Sie dann die Tabelle als CSV-Datei und klicken Sie in MTurk → Verwalten → Ergebnisse überprüfen auf die Schaltfläche CSV hochladen. Wählen Sie die neu gespeicherte CSV aus und bestätigen Sie. MTurk wird Sie dann fragen, ob Sie diese Aufträge annehmen.
Wenn Sie fertig sind, bleiben nur die Aufgaben übrig, die nicht Ihren Qualitätskriterien entsprechen. Lehnen Sie sie ab und erklären Sie, warum.
Alternativ können Sie die Datensätze während der Datenbereinigung nicht sofort löschen, sondern markieren. Sie können dann eine CSV-Datei mit vier Spalten hochladen, die Spalte mit dem Namen „Ablehnen“ und mit einer Erklärung für die Ablehnung in der Spalte. Dadurch wird sichergestellt, dass Sie niemanden ablehnen, dessen ID verloren gegangen ist.
