我们的2018年筹款活动正在进行中!!

嵌入好奇心

γγ分析

这是 嵌入式代理系列。以前的职位:

嵌入式代理- - - - - -决策理论- - - - - -嵌入式世界模型
强有力的代表团- - - - - -子系统金宝博官方对齐


关于好奇心的最后一句话,以及智力难题:

我描述了一个嵌入式代理,艾美奖,说我不明白她如何评价自己的选择,模拟世界,模特自己,或者分解和解决问题。

过去,当研究人员金宝博娱乐谈到处理这类问题的动机时,他们通常关注于人工智能风险。人工智金宝博娱乐能研究人员想要构建机器能够以通用的方式解决问题的人,和二元论不是一个现实的思考这样的系统框架。金宝博官方特别地,随着人工智能系统变得更加智能,这个近似值特别容易崩溃。金宝博官方当人们想出如何构建通用AI系统时,金宝博官方我们希望这些研究人员能够更好金宝博娱乐地理解他们的系统,金宝博官方分析他们的内部属性,并对他们未来的行为充满信心。

这是今天从事无更新决策理论和子系统对齐等工作的大多数研究人员的动金宝博娱乐机。金宝博官方我们关心的基本概念上的难题,我们认为我们需要弄清楚为了达到对未来人工智能系统的信心,金宝博官方而且不必太依赖暴力搜索或反复试验。

但是关于为什么我们可能需要或者可能不需要人工智能中的特定概念洞察力的争论相当长。我还没有试图深入讨论过这次辩论的细节。相反,我一直在讨论一组特定的研究方向金宝博娱乐智力拼图,而不是作为一个工具的策略。

将这些问题作为工具性策略进行讨论的一个缺点是,这会导致为什么?我们认为这种工作很重要。与“工具策略透镜,从给定的研究问题到给定的安全问题,画一条直线是很诱人的。金宝博娱乐但是,我并不是在想象现实中的嵌入式系统是”金宝博官方太贝叶斯"这在某种程度上造成了问题,如果我们不能弄清楚现行的理性代理模式有什么问题。这当然不是我想象的未来人工智能系统被写在二阶逻辑!金宝博官方在大多数情况下,我根本没有试图在研究问题和金宝博娱乐特定人工智能失效模式

我倒是想的是:今天,当我们试图思考什么是代理时,我们确实似乎在处理错误的基本概念,从这些概念不能很好地传递到更实际的嵌入式框架这一事实可以看出。

如果未来的AI开发人员是仍然与这些混乱和不完整的基本概念一起工作,因为它们试图实际构建强大的现实世界优化器,这似乎是一个坏的位置。而且看起来,在试图开发更有能力的系统的过程中金宝博娱乐,研究界在默认情况下不太可能找出其中的大部分。金宝博官方进化论当然已经弄清楚了如何在没有大脑的情况下构建人类的大脑。理解这些中的任何一个,通过暴力搜查。

嵌入式代理是我试图指出我认为是一个非常重要和中心的地方,在那里我感到困惑,我认为未来的研究人员也有陷入困惑的风险。金宝博娱乐

还有许多优秀的人工智能比对研究,正在做的目的在于更直接的应用;金宝博娱乐但我认为这项安全研究具有与我在这里讨论的谜题不同的特征金宝博娱乐。


智力的好奇心不是我们优先考虑这些研究方向的最终原因。金宝博娱乐但是有一些实际的有时从一个好奇的地方向研究问题定向的优点,金宝博娱乐相反只有应用“实际影响透镜我们如何看待世界。

当我们把好奇镜头运用到世界时,我们朝向困惑的源头,阻止我们清楚地看到;我们地图上的空白点,我们镜头的缺陷。它鼓励重新检查假设并注意盲点,这对我们的心理平衡很有帮助工具策略镜头-后者更容易受到冲动,以依靠任何不稳定的前提,我们手头上,所以我们可以得到更加坚实和封闭,在我们早期的思想。

嵌入式代理是大多数组织的主题,即使不是全部,我们最大的好奇心。这似乎是许多具体困难背后的中心谜团。