我们2018年的募款活动正在进行中!!

新论文:“分类变量的古德哈特定律””

||论文

分类变量的古德哈特定律古德哈特定律指出:“任何观察到的统计规律往往会崩溃一次压力被放置在其控制目的。”然而,这不是一个单一的现象。在古德哈特分类法,我建议(至少)有四个不同的机制通过代理措施打破当你为:优化及地理,极值,因果,和敌对的。

大卫美瀚已经帮我写我的分类法作为一篇文章详细讨论这些机制:“”分类变量的古德哈特定律”。的结论:

本文试图分类代表类的简单统计失调,发生在任何算法用于优化系统,金宝博官方在许多人类依赖指标优化的系统。金宝博官方希望是有用的突出显示的动态解释很多情况下感兴趣的在政策设计中,在机器学习中,在特定的关于AI对齐的问题。

在政策上,这些动力学是常见,但很少讨论清楚。在机器学习中,这些错误包括极值古德哈特影响由于使用有限的数据和选择过于吝啬的模型,由于近视发生的错误考虑的目标,和错误发生时忽略了因果关系的系统。金宝博官方最后,在人工智能对齐,这些问题正朝着一个目标,调整系统的基础金宝博官方和保证系统的指标,没有不良影响,一旦系统开始金宝博官方优化。

V指的是真正的目标,而U是指代表这一目标与观察V并以某种方式被优化。的四个亚型古德哈特定律如下:


及古德哈特——在选择代理措施,你选择不仅对真正的目标,而且对代理和目标之间的区别。

  • 模型:当U等于V+X,在哪里X是一些噪音,一个大的点U可能会有很大的价值V值,但也是一个大X价值。因此,当U很大,你可以期待V可以预见的是小于U
  • 例子:高度与篮球相关的能力,实际上,直接帮助,但是只有6 ' 3”,最好的球员和一个随机7′20多岁的人可能不会像以前那么好了。

极值古德哈特——世界的代理需要一个极端值可能非常不同于普通世界的代理之间的相关性和目标是观察。

  • 模型:模式倾向于打破简单的关节。一个简单的世界是那些世界子集U是非常大的。因此,很强的相关性之间的UV观察自然发生U值不得转让的世界中U是非常大的。此外,因为可能有相对较少的自然发生的世界中U非常大,非常大的U可以配合小V值在不破坏的统计相关性。
  • 例如:历史上最高的人,罗伯特•Wadlow8“11”(2.72米)。他的身高,因为垂体障碍;他会努力打篮球因为他“要求护腿走在他的腿和脚,几乎没有感觉。””

因果古德哈特——当有一个非因果联系代理和目标,干预在代理可能无法干预的目标。

  • 模型:如果V原因U(或者,如果VU都是由一些第三件事),然后之间的关联VU可以观察到。然而,当你干预增加U通过一些机制,不涉及V,你也将无法提高V
  • 例子:有人希望高可能观察到高度是与篮球相关的技能,决定开始练习篮球。

敌对的古德哈特——当你为一个代理优化,你提供一个激励的敌人将他们的目标与你的代理,从而破坏与您的目标相关。

  • 模型:考虑一个代理一个有一些不同的目标W。因为他们依靠公共资源,,WV自然是反对。如果你优化U作为一个代理V,和一个知道这一点,,一个鼓励使大吗U值与大W值,因此,阻止他们与大V值。
  • 例子:有抱负的NBA球员可能会谎报身高。

更多关于这个主题,看到以利以谢Yudkowsky帐面价值,,古德哈特的诅咒

注册获取新的米里技术的结果

得到通知每当一个新的技术论文发表。