Amazon MTurk
pravděpodobně vyčistíte svou datovou sadu, například na základě instruovaných položek odpovědi (Velmi dobré), falešných položek (také dobré) a/nebo doby odezvy (spravedlivé, zvažte použití TIME_RSI).
máte ID pracovníka ze všech zbývajících záznamů, které splňují vaše kritéria kvality. Samozřejmě můžete zkontrolovat všechny úkoly v Mturku ručně, ale to trvá hodně času. Lepší práce se souborem CSV.
pro soubor CSV potřebujete ID HIT a ID přiřazení. Pokud jste postupovali podle výše uvedeného manuálu, budete mít tyto údaje k dispozici. Poté vytvořte tabulku (s R, SPSS, LibreOffice Calc, Excel, …) se třemi sloupci z vašich dat: první sloupec obsahuje ID zásahu, druhý sloupec obsahuje ID přiřazení a třetí sloupec musí obsahovat “ x “ pro každou položku.
první řádek tabulky je záhlaví, názvy proměnných. Ujistěte se, že názvy proměnných jsou následující (malá a velká písmena):
-
HITId
-
AssignmentId
-
schválit
uložte tabulku jako soubor CSV a v MTurk → spravovat → výsledky kontroly klikněte na tlačítko Nahrát CSV. Vyberte nově uložené CSV a potvrďte. MTurk se vás poté zeptá, zda tyto úkoly přijmout.
až budete hotovi, zůstanou pouze ty úkoly, které neodpovídají kritériím kvality. Odmítněte je a vysvětlete proč.
případně neodstraňujte záznamy okamžitě během čištění dat, ale označte je. Poté můžete nahrát soubor CSV se čtyřmi sloupci, dále s názvem „odmítnout“ a s vysvětlením odmítnutí ve sloupci. Tím se ujistíte, že neodmítnete nikoho, jehož ID se ztratilo.
