Amazon MTurk
u zult waarschijnlijk uw dataset opschonen, bijvoorbeeld op basis van geïnstrueerde response items (zeer goed), nep items (ook goed) en/of responstijden (redelijk, overweeg het gebruik van TIME_RSI).
u hebt de werknemers-ID ‘ s van alle resterende records die voldoen aan uw kwaliteitscriteria. Natuurlijk kun je alle opdrachten in MTurk handmatig controleren, maar dat kost veel tijd. Beter werken met een CSV-bestand.
voor het CSV-bestand hebt u de HIT-ID en de toewijzing-ID nodig. Als je bovenstaande handleiding hebt gevolgd, heb je deze gegevens beschikbaar. Maak vervolgens een tabel (met R, SPSS, LibreOffice Calc, Excel,…) met drie kolommen uit uw gegevens: de eerste kolom bevat de HIT-ID, de tweede kolom bevat de toewijzing-ID, en de derde kolom moet een “x” bevatten voor elke ingang.
de eerste regel van de tabel is de header, de variabele namen. Zorg ervoor dat de namen van de variabele als volgt zijn (hoofdlettergevoelig):
-
HITId
-
toewijzen
-
goedkeuren
te accepteren, slaat u de tabel op als CSV-bestand en klikt u in MTurk → beheren → resultaten bekijken op de knop CSV uploaden. Nieuw opgeslagen CSV kiezen en bevestigen. MTurk zal u dan vragen of u deze opdrachten wilt accepteren.
wanneer u klaar bent, blijven alleen die toewijzingen over die niet aan uw kwaliteitscriteria voldeden. Wijs ze af en leg uit waarom.
u kunt de records ook niet onmiddellijk verwijderen tijdens het opschonen van de gegevens, maar markeren. U kunt dan een CSV-bestand uploaden met vier kolommen, de vierde met de naam “Reject” en met een verklaring voor de afwijzing in de kolom. Dit zal ervoor zorgen dat u niet iemand wiens ID verloren ging afwijzen.
