Amazon Mturk
du kommer förmodligen att rengöra din dataset, till exempel baserat på instruerade svarsobjekt (mycket bra), falska objekt (också bra) och/eller svarstider (rättvis, överväga att använda TIME_RSI).
du har arbetar-ID: n från alla återstående poster som uppfyller dina kvalitetskriterier. Naturligtvis kan du kontrollera alla uppdrag i MTurk manuellt, men det tar mycket tid. Bättre arbete med en CSV-fil.
för CSV-filen behöver du HIT-ID och tilldelnings-ID. Om du följde till manualen ovan kommer du att ha dessa data tillgängliga. Skapa sedan en tabell (med R, SPSS, LibreOffice Calc, Excel, …) med tre kolumner från dina data: den första kolumnen innehåller träff-ID, den andra kolumnen innehåller tilldelnings-ID och den tredje kolumnen måste innehålla ett ”x” för varje post.
den första raden i tabellen är rubriken, variabelnamnen. Se till att variabelnamnen är som följer (skiftlägeskänsliga):
-
HITId
-
AssignmentId
-
godkänn
lagra sedan tabellen som CSV-fil och klicka på Ladda upp CSV-knappen i Mturk Portugals hantera granskningsresultat i Mturk. Välj den nyligen sparar CSV och bekräfta. MTurk kommer då att fråga dig om du ska acceptera dessa uppdrag.
när du är klar återstår bara de uppgifter som inte matchade dig kvalitetskriterier. Avvisa dem och förklara varför.
alternativt, ta inte bort posterna omedelbart under datarengöring, men markera dem. Du kan sedan ladda upp en CSV-fil med fyra kolumner, den fjärde heter” avvisa ” och med en förklaring till avslaget i kolumnen. Detta kommer att se till att du inte avvisar någon vars ID gick vilse.
