Online Data Collection

Recommended experimental protocol:

  • 请确保您的IRB协议涵盖您的实验过程
  • Use Qualtrics 编写调查/实验代码，然后将链接发布到亚马逊土耳其机器人(MTurk), for a general how-to on MTurk: see here and here)
  • 关于素质和心理实验编程的教程: see here
  • For tips on coding in HTML: see this document
  • In the Human Neuroscience Laboratory, 我们有使用文字和图片刺激来测试新旧识别记忆的直接经验, recall, source memory (e.g.(如空间位置)，以及各种创造性任务(如.g., Alternate Uses Task and Remote Associates Task). For templates contact Preston. 我们在质量方面也有平衡和循环的经验.g., see this video for a short how-to on looping)，这是适当和有效的实验设计所必需的!
  • If using Qualtrics, there are FOUR things that are critical:
    • 1a)确保监控非任务表现(用于相关出版物); Permut et al., 2019)
      • a) See here for the code to add in your Header (请参阅调查问卷的“观感”和“一般”部分)
      • b) See here for the code to add in your Footer (请参阅调查问卷的“观感”和“一般”部分)
      • c)确保按照Permut等人的详细说明添加嵌入式数据字段. (2019)
    • 1b)由于Qualtrics中的兼容性问题，1a中列出的代码在某些情况下可能无法工作
    • 2) At the end of online experiments, 每个MTurk员工都有一个唯一的代码，他们被要求输入MTurk的调查. 他们必须在提交人类智能任务(HIT)之前这样做才能收到报酬. 如果参与者不输入此代码，则不会付款.
      • 例如，构建一个最后的问题，看起来像 this
    • 3)确保你在MTurk创建一个资格，以确保MTurk不能重做你的实验
      • Why do you need this? See here and here
      • To get your unique MTurk code: http://uniqueturker.myleott.com/
      • 在发布您的电子游戏正规平台时，您可以在您的MTurk请求者帐户中设置其他资格/限制, see here for the Human Neuroscience Laboratory settings (as you can see in the picture, 我设置了一个限制，这样的电子游戏正规平台之前没有参与过, here called, 'Remembering Lists')
        • E.g., We like recruiting participants with a HIT approval rate of >95% (meaning that those who participate are those that are likely to finish it as that is their prior history), 并且参与者至少有50个hit被批准，这意味着他们已经完成了相当数量的MTurk电子游戏正规平台(注意，这些设置遵循其他已发表的电子游戏正规平台).
        • Note also that some restrictions, like age, cost additional money (so called, 'Premium Restrictions')
    • 4) How to save/extract your data (e.g., as a .csv file)
      • 使用问题旁边的齿轮按钮打开变量命名. 复选框称为“变量命名”:这将保存实际选择的响应，而不是点击或选择的位置.
      • In the export section make sure to export the .CSV与'选择文本'选定(参见其他选项，如删除空格)
      • 关键是，不要假设你所有的数据/回复都会被保存. Ensure the output captures it!

Alternatives to Qualtrics

  • You can code in Java/HTML straight in MTurk, 然而，它不是基于gui的，学习和执行起来可能很耗时
  • 如果对这种方法感兴趣，看这些很有帮助 videos and tutorial
  • In addition, you can also use REDCap or PsyToolkit
    • REDCap is more survey-based. 电子游戏正规平台服务@BC可以与电子游戏软件社区成员会面，讨论个别REDCap项目. 个人咨询或定制类咨询可通过电子邮件researchservices@wxyxsteel.com or dalgin@wxyxsteel.com.
    • PsyToolkit has an amazing library 经典的认知心理学实验模板有些你认为不适合在线数据收集(例如.g., Stroop Task, Mental Rotation, Posner Cueing Task, Wisconsin Cart Sorting Task, Go/NoGo task, Inhibition of Return, Multitasking, etc.)

(不全面)在线数据收集清单

These are suggestions and not rules (see here for additional information)

1)在客户端代码中隐藏敏感内容

  • Check your client-side code for sensitive content. 在浏览器窗口中打开实验程序. If you are using Chrome, click View > Developer > View Source. In Firefox, click Tools > Web Developer > Page Source. (谷歌“如何在[浏览器名称]中查看页面源代码”以查找其他浏览器的说明.)将打开一个新的浏览器窗口，其中包含您正在查看的实验特定页面的源代码. Scroll through this code, 确保里面没有任何你不想让参与者看到的东西(e).g. hidden payoff values, logic that reveals your experimental manipulation, names of different conditions, etc.).
  • 混淆您发送给客户端的任何JavaScript代码，这样参与者就不能通过查看源代码来查看隐藏的值或过程的逻辑. Open-source tools like javascript-obfuscator 由Timofey Kachalov创建，可以用来混淆JavaScript代码. A Web UI for javascript-obfuscator@0.18.6 can be found at obfuscator.io. (更好的选择是将所有敏感内容保存在服务器端，但这并不总是可行的.)

2) Testing your procedure

  • 创建一个Mechanical Turk工作人员帐户，以便您可以在公开启动之前作为参与者测试您的程序
  • 设置自定义资格并将其仅分配给您自己的工人帐户
  • 使用分配给工人帐户的自定义资格启动您的实验, preventing other workers from viewing the HIT
  • Log into your worker account, and complete your HIT at least 8 times, 每次使用以下8种配置之一(浏览器+操作系统):
    • Chrome + Mac
    • Chrome + Windows
    • Firefox + Mac
    • Firefox + Windows
    • Edge + Mac
    • Edge + Windows
    • Safari + Mac
    • Safari + Windows
  • Either block mobile devices, 或在移动设备上测试您的HIT，以确保您的程序正常运行. (You can simulate a mobile request in Chrome by selecting View > Developer Tools, clicking on the Toggle Device Toolbar icon, 选择“中间层移动”，在弹出的设备工具栏中选择移动设备型号. More information can be found on this page of the Google Developers Help Center.)
  • 检查程序中每个页面的url，以确保它们不包含任何可能泄露您的实验操作的信息
  • 检查您的记录数据，以确保所有活动都被适当地跟踪
  • 让几个朋友完成你的调查，并记录他们对每个问题的回答时间, 这样你就对平均参与者完成这个过程需要多长时间有了一些感觉

3) Protecting yourself against low quality data

  • Always include a neutral answer (e.g. “选择这里”)作为下拉列表等表单元素中的预选或默认响应
  • Test multiple response styles (e.g. 径向、滑块、下拉)来确定响应类型是否会影响结果
  • 不将资格要求作为电子游戏正规平台注册过程的一部分, 相反，使用资格限制(如国家/地区), number of studies completed, etc.)或预先调查以限制资格(Siegel et al .)., 2015)
  • 通过Mechanical Turk API分配自定义资格来防止重修, or using Qualtrics’s built-in system
  • 收集IP地址和位置数据，因为这些数据可用于检测机器人活动
  • 在实验开始时使用抄写任务，要求参与者抄写一张手写文字的照片
  • 使用不明显的模式(如.e. 多项选择理解题的答案不应该都被分配到每个选择题列表的顶部。
  • 在你的调查结束时包括一个强制性的自由形式的回答(如果他们没有回应/评论，你可以指示参与者简单地键入“na”)
  • 使用自定义JavaScript计算主题离开页面的次数, 跟踪主题离开页面的时间, 或者甚至在参与者离开页面时显示弹出消息, 警告她，如果她在完成程序之前离开，HIT将不会被批准. (您可以在Qualtrics中找到一些实现这种跟踪的示例代码，见上文)

4) Reducing the negative impact of attrition

  • Ask personal demographic questions, 并在你的手术开始时宣布有机会获得额外的经济奖励, 因为这两种措施都被证明可以减少辍学率(Reips), 2002a)
  • 在程序开始时，通过集中动机上的不利因素来引入一个高障碍任务
  • 在实验开始前，请参与者估计他们完成整个实验的可能性
  • Use a prewarning with an appeal to conscience (e.g. “Our research depends on good quality data, 当参与者未能完成整个过程时，这种质量就会受到影响.”) (Zhou & Fishbach, 2016)
  • Use practice trials, pilot new experimental protocols, 或者要求参与者在开始焦点实验程序之前完成一项无聊的任务

5) Analyzing your data

  • Wait until all data have posted to your server, or deactivate your Qualtrics survey, before beginning your analysis – some platforms (e.g. 在参与者发起响应后的一周内，Qualtrics不会将未完成的响应发布到服务器, 在这些数据公布之前，你将无法衡量流失率
  • 检查你收集到的每一个自由形式的回复，寻找可疑的模式.g. 我在数据中检测到的一个脚本从周围的页面复制文本, mixes up the words, 然后将结果粘贴到自由格式响应框中)
  • 检查重复的IP地址和经纬度坐标, 因为大量这样的重复信息可能是机器人活动的标志(Bai, 2018)
  • 将浏览器和操作系统作为分析的因素, 因为系统配置可能会影响参与者与您的过程的交互, 并被发现与可能影响结果的重要个体差异相关(布坎南) & Reips, 2001)
Back To Top