Notes from my research

校准 agent,让行为可量化、可复现

四格漫画展示设定目标、测量、调整后复测,以及跨模型校准。

上一篇,我们发现,同一份人物描述在不同模型上会产生不同的行为。我们做了 CoBRA,想让 agent 的行为设定有一个更明确的参照:指定的程度能被测量,换一个模型,也能重新校准。

比如,我需要一个容易从众的 agent。“容易”是多少?“有一点从众”和“非常从众”,分别对应怎样的行为?

经典社会科学实验给了我们一个起点。Asch 从众实验里,参与者判断线段长度,其他人却一致给出错误答案。我们可以把这样的情境交给 agent,让它在 Likert 量表上作答,比如从“完全不同意”到“完全同意”,表达自己多大程度上会跟随错误的多数意见。这样,“从众”就对应了一个可以测量、可以比较的分数。

在 CoBRA 里,研究者可以先指定一个目标分数,再让 agent 做实验,看看测出来的分数离目标有多远。

如果没有达到,就调整 agent,再测一次。

指定目标 → 测量 → 调整 → 再测量。

这就是 CoBRA 的闭环校准。在调整这一步,CoBRA 覆盖了模型的三个空间:输入的 prompt、模型内部的激活,以及模型参数,每个空间都提供了相应的调控方法。但改完不等于校准完成:有没有生效、到了什么程度,都要看下一轮测量。

我们不要求两个模型对同一段描述有同样的理解,而是用同一套实验参照,分别把它们校准到目标行为程度。

这也是这里“可复现”的含义:复现的是测出来的行为程度。校准之后,每个模型都有一个从调控设置到分数的映射;想再得到同样程度的行为,按映射找到对应的设置就行,换个模型也一样。

达标之后,我们还会换一个测同类行为的实验再测一次,确认 agent 的行为变化能迁移到其他任务,而不只是适应了这一套题。

对我来说,CoBRA 的核心是这个闭环过程:研究者指定什么,agent 实际表现出什么,两者之间的差距,都可以被测量,再据此调整。行为设定因此成为一个可以检查、校准和复用的实验条件。

参考文献

  1. CoBRA: Programming Cognitive Bias in Social Agents Using Classic Social Science Experiments
  2. CoBRA Project page
  3. CoBRA Slides
← 全部文章