Notes from my research

让人类研究像开源代码一样可复现

四格漫画:阅读人类研究、打开共享实验、让 AI agent 参与实验,再对照人类和 agent 的统计结果。

做机器学习研究时,我们很习惯接着别人的工作往下做。下载模型和数据,跑公开的代码,改一点,就能试自己的想法。

但读到一个有意思的社会科学实验,我想换句话、改个条件试试,往往得先还原材料、分组、流程和分析。要重新做真人实验,还涉及伦理审查和招募。一个小改动,变成了一个新项目。

我的老师推荐过 David Donoho 的《Data Science at the Singularity》,里面讲到 frictionless reproducibility。我读下来觉得,一个领域能走得快,很大一部分是因为前一个人的工作,能直接成为下一个人的起点。我也想让人类研究有这样的可能。

我希望论文发表后,实验也能留下来:别人可以打开它,看清参与者经历了什么,再运行同一套流程。有了 LLM,还可以先让 agent 扮演参与者,读同样的题目、做同样的选择,试试新的条件。模拟结果仍需要真人研究来检验。

基于这个想法,我开始尝试搭建 HumanStudy-Hub,和社区一起把已发表的人类研究整理成可复用、可运行的实验。

这些实验也可以是 agent 的 benchmark,或者一个 gym:固定实验,换模型、提示和参与者设定,再和人类结果对照,看看哪里像、哪里不像,接着调整。HumanStudy-Bench 就是沿着这个方向的尝试。

HumanStudy-Hub ↗

参考文献

  1. David Donoho. Data Science at the Singularity.
  2. HumanStudy-Bench: Towards AI Agent Design for Participant Simulation.
← 全部文章