做机器学习研究时,我们很习惯接着别人的工作往下做。下载模型和数据,跑公开的代码,改一点,就能试自己的想法。
但读到一个有意思的社会科学实验,我想换句话、改个条件试试,往往得先还原材料、分组、流程和分析。要重新做真人实验,还涉及伦理审查和招募。一个小改动,变成了一个新项目。
我的老师推荐过 David Donoho 的《Data Science at the Singularity》,里面讲到 frictionless reproducibility。我读下来觉得,一个领域能走得快,很大一部分是因为前一个人的工作,能直接成为下一个人的起点。我也想让人类研究有这样的可能。
我希望论文发表后,实验也能留下来:别人可以打开它,看清参与者经历了什么,再运行同一套流程。有了 LLM,还可以先让 agent 扮演参与者,读同样的题目、做同样的选择,试试新的条件。模拟结果仍需要真人研究来检验。
基于这个想法,我开始尝试搭建 HumanStudy-Hub,和社区一起把已发表的人类研究整理成可复用、可运行的实验。
这些实验也可以是 agent 的 benchmark,或者一个 gym:固定实验,换模型、提示和参与者设定,再和人类结果对照,看看哪里像、哪里不像,接着调整。HumanStudy-Bench 就是沿着这个方向的尝试。
