Amazon MTurk
prawdopodobnie wyczyścisz swój zestaw danych, na przykład w oparciu o instruowane elementy odpowiedzi (bardzo dobre), fałszywe elementy (również dobre) i/lub czasy odpowiedzi (uczciwe, rozważ użycie TIME_RSI).
masz identyfikatory pracownika ze wszystkich pozostałych rekordów, które spełniają Twoje kryteria jakości. Oczywiście, można sprawdzić wszystkie zadania w MTurk ręcznie, ale to zajmuje dużo czasu. Lepiej pracować z plikiem CSV.
dla pliku CSV potrzebujesz ID trafienia i ID przydziału. Jeśli postępowałeś zgodnie z instrukcją powyżej, będziesz mieć te dane dostępne. Następnie utwórz tabelę (z R, SPSS, LibreOffice Calc, Excel, …) z trzema kolumnami z Twoich danych: Pierwsza kolumna zawiera ID trafienia, Druga kolumna zawiera ID przydziału, a trzecia kolumna musi zawierać ” x ” dla każdego wpisu.
pierwszy wiersz tabeli to nagłówek, nazwy zmiennych. Upewnij się, że nazwy zmiennych są następujące (rozróżnianie wielkości liter):
-
HITId
-
AssignmentId
-
Zatwierdź
następnie Zapisz tabelę jako plik CSV i w MTurk → Zarządzaj → wyniki przeglądu kliknij przycisk Prześlij CSV. Wybierz nowo zapisany plik CSV i potwierdź. MTurk zapyta cię, czy przyjąć te zadania.
kiedy skończysz, pozostaną tylko te zadania, które nie pasują do Twoich kryteriów jakości. Odrzuć je, wyjaśniając dlaczego.
alternatywnie, nie usuwaj rekordów natychmiast podczas czyszczenia danych, ale zaznacz je. Następnie możesz przesłać plik CSV z czterema kolumnami, czwartą o nazwie „Odrzuć” i z wyjaśnieniem odrzucenia w kolumnie. Zapewni to, że nie odrzucisz nikogo, kogo identyfikator zaginął.
