Amazon MTurk
você provavelmente limpará seu conjunto de dados, por exemplo, com base em itens de resposta instruídos (muito bons), itens falsos (também bons) e/ou tempos de resposta (justo, considere usar TIME_RSI).
você tem os IDs do trabalhador de todos os registros restantes que atendem aos seus critérios de qualidade. Claro, você pode verificar todas as atribuições no MTurk manualmente, mas isso leva muito tempo. Melhor trabalhar com um arquivo CSV.
para o arquivo CSV, você precisa do ID HIT e do ID de atribuição. Se você seguiu o manual acima, você terá esses dados disponíveis. Em seguida, crie uma tabela (com R, SPSS, LibreOffice Calc, Excel, …) com três colunas de seus dados: a primeira coluna contém o ID de HIT, a segunda coluna contém o ID de atribuição e a terceira coluna deve conter um “x” para cada entrada.
a primeira linha da tabela é o cabeçalho, os nomes das variáveis. Certifique-se de que os nomes das variáveis são os seguintes (maiúsculas e minúsculas):
-
HITId
-
AssignmentId
-
Aprovar
guarde a tabela como arquivo CSV e, em MTurk → Gerenciar → Revisão de Resultados, clique em enviar CSV botão. Selecione o CSV recém-salvo e confirme. MTurk então perguntará se aceita essas atribuições.
quando terminar, apenas essas atribuições permanecerão que não correspondam aos critérios de qualidade. Rejeitá-los, explicando o porquê.
alternativamente, Não exclua os registros imediatamente durante a limpeza dos dados, mas marque-os. Você pode então fazer upload de um arquivo CSV com quatro colunas, o forth chamado “rejeitar” e com uma explicação para a rejeição na coluna. Isso garantirá que você não rejeite ninguém cujo ID se perdeu.
