MIRI研究指南金宝博娱乐

,内特苏亚雷斯


如果人类要发展出比人类更聪明的人工智能,那将会产生积极的影响,我们必须满足三个强大的挑战。第一,我们必须设计出比人类更聪明的系统金宝博官方高度可靠,这样我们就可以证明信心,该系统将满足指定的目标或偏好。金宝博官方第二,设计必须容错,这样系统适合在线修改和校金宝博官方正在面对不可避免的人为错误。第三,系统必须金宝博官方实际学习有益的目标或偏好。

米里当前的研究项目的重点是理解金宝博娱乐如何原则上迎接这些挑战.即使在理论上,我们也不能理解可靠推理的一些方面;有问题的有限理性,我们可能没有解决即使是在简化设置。我们的研究集中在简化设置,寻找解决方案作为第一步。因此,我们的现代研究看起来更金宝博娱乐像纯数学比软件工程或实用机器学习。

本指南简要概述我们的研究重点,金宝博娱乐并提供资源,帮助您达到每个主题领域的前沿。本指南并不打算证明这些研究主题;金宝博娱乐为了进一步激励我们的方法,参考文章”美里的方法”,或者我们的技术议程支持文件.

注意(2016年9月):这个指南是基于我们的金宝博娱乐研究代理基础议程.在2016年,我们也有一个以机器学习为中心的议程.请参考该文档的更多信息我们认为有前途的研究方向,金宝博娱乐不受本指南。


如何使用本指南吗

本指南旨在为尚未精通相关主题领域的有抱负的研究人员。金宝博娱乐如果你已经人工智能专业或经验丰富的数学家,考虑跳到我们的现有的出版物代替。(我们的技术议程这是一个很好的起点。)本指南针对的是那些想知道如果将来想成为MIRI研究人员应该学习什么的学生,金宝博娱乐向其他领域的专业人士谁想要对我们的工作速度。

金宝博娱乐研究人员通常通过两条途径之一加入我们的团队。首先是参加米里研讨会,与我们建立关系。你可以使用这种形式申请参加研究研讨会。金宝博娱乐被警告说,经常有相当多的时间在车间之间,而且他们的能力有限。

第二条道路是独立地在我们的研究议程上取得一些进展,并让我们知道你们的结果。金宝博娱乐你可以使用我们的在线表单申请援助或输入你的工作,但是最快的方式开始贡献是阅读文章智能代理基金会论坛(IAFF),人们正在注意开放问题,解决一个。你可以把你的结果链接在论坛上。

研究论坛的主要目的是为研究人员已经在相同的页面上,讨论金宝博娱乐无光泽的部分结果。因此,论坛上的帖子可能很不透明。这个研究指金宝博娱乐南可以帮助您快速了解IAFF上正在讨论的开放问题。它还能帮助你发展必要的技能,以符合一个车间,或者找到工作在开放问题在人工智能方法对齐在其他机构。

本指南从基本主题的建议开始,在尝试这种类型的研究之前,了解这些主题很重要,金宝博娱乐如概率论。之后,它被分成一系列的主题领域,与论文的链接,将赶上您在该领域的艺术水平。

这不是一个直线导轨:如果你想成为一个米里研究员,金宝博娱乐我建议您首先要确保理解基本知识,然后选择一个你感兴趣的话题和进入深度。一旦你了解一个主题,您将准备好尝试在IAFF的主题领域做出贡献。

所有的材料在本指南,请不要去为了磨去。如果你已经知道的材料,向前跳。如果其中一个活跃的研究领域未能引起你的兴趣金宝博娱乐,切换到另一个。如果你不喜欢其中的一个推荐的教材,找一个更好的,或者完全跳过。本指南应该作为一种工具来找出你可以贡献,这一目标的障碍。


最基本的

在直接进入我们活跃的研究课题之前,掌握一些基本的数学概念是很重要的。金宝博娱乐我们所有的研究领域由一金宝博娱乐个基本的了解非常完善的计算,逻辑,概率论。下面是一些帮助您入门的资源。

你不需要读的书在这一节中列出的顺序。拿起任何有趣,不要犹豫之间来回跳跃的研究领域和必要的基础知识。金宝博娱乐

集理论

大多数现代数学是集理论形式化,这里列出的教科书和论文也不例外。这使得集合论成为一个很好的起点。



队章

数理逻辑附练习题

可计算性理论(和对角化带来的限制)是理解的基础,不能可以由机器完成。



1 - 4章

概率论

概率论是理解理性代理的核心。在不确定性条件下对推理的一些熟悉在我们所有活跃的研究领域中都是至关重要的。金宝博娱乐



1 - 5章

贝叶斯网络概率推理

这本书将有助于充实对如何利用概率世界模型进行推理的理解。


统计数据

流利与统计建模有利于促进我们的“”先进的机器学习的对齐”金宝博娱乐研究议程。先熟悉概率推理在这里是个好主意。


机器学习

培养对机器学习的实际熟悉度,我们强烈推荐安得烈吴Coursera课程(讲稿)在这里)。对于ML的更多理论介绍,试一试理解机器学习.


人工智能

虽然我们的许多工作都是理论性的,现代人工智能领域的知识把这个工作环境是很重要的。

理解VNM合理性的概念也很重要,我建议从中学习维基百科的文章但也可以拿起的原著.Von Neumann和Morgenstern证明了任何遵循几个简单一致性公理的代理都具有可用效用函数表征的偏好。虽然有些期待,我们最终可能需要放弃VNM理性为了构建可靠的智能代理,VNM框架仍是最富有表现力的框架我们已经描述任意强大的代理的行为。(例如,见正交性的论文以及仪器收敛的论文从博斯特罗姆的“”有超常智慧的意志。”VNM合理性的概念贯穿于我们所有活跃的研究领域。金宝博娱乐



现实世界模型

如果比人类聪明的系统不可靠,那么将有益的目标形式化对你没有好处。金宝博官方我们还不理解好的推理的一些方面,即使在原理。很可能可以了解通过建立实际系统使用算法似乎工作,金宝博官方即使他们工作的原因还不是很清楚:经常,理论理解的实际应用。然而,我们认为这种方法轻率的在设计系统时,有可能成为有超常智慧的:我们将会更安全,如果我们有一个理论的一般智金宝博官方力之前创建实际有超常智慧的系统。

由于这个原因,我们的许多活跃的研究主题聚焦于一般智力金宝博娱乐的部分,我们还不知道如何解决,即使在原理。例如,考虑以下问题:

我有一个计算机程序,被称为“宇宙。”宇宙中的一个功能是未定义的。你的工作是提供给我合适的类型的计算机程序来完成我的宇宙计划。然后,我将我的宇宙运行程序。我的目标是进你的代理根据如何学习原始宇宙计划是什么。

我怎么能这样做呢?Solomonoff的归纳推理理论阐明了一个理论上的解决方案:它描述了一个理想的预测方法的观察,但只有在预测者生活在环境之外的情况下。Solomonoff感应导致许多有用的工具思考归纳推理(包括Kolmogorov复杂度,通用之前,和AIXI),但是在主体是宇宙的子过程的情况下,问题显然变得更加困难,计算的宇宙。

在代理嵌入到环境内的情况下,归纳问题变得不明朗:什么是“学习宇宙计划吗?对什么分布环境代理应该得分吗?在介于两者之间的边界的情况下,什么是理想的归纳?代理”和“环境变得模糊?这些问题是归化感应。””

  1. 索雷斯”形式化现实世界模型的两个问题”进一步激励问题的归化感应相关的建设一般智力的理论。

  2. 牛郎星”Solomonoff感应的直观解释”解释所罗门诺夫的归纳推理理论,这是很重要的背景知识时理解归化感应的开放问题。

  3. Bensinger的“”归化感应”(系列)更详细地探讨归化归纳问题。

解决问题的归化感应需要获得更好的理解现实世界模型:集”可能的现实”吗?什么样的先验环境理想的代理会使用呢?这些问题的答案不仅必须允许良好的推理,他们必须允许人类目标的规范的世界模型。

例如,在Solomonoff感应(Hutter AIXI),图灵机被用来模拟环境。假装我们唯一值是钻石(碳原子共价绑定到其他四个碳原子)。现在,说我给你一个图灵机。你能告诉我里面有多少钻石吗?吗?

为了设计一个代理,该代理追求根据其世界模型指定的目标,代理必须有某种程度的确定我们的目标(碳原子)的本体内部世界模型(图灵机)。这个“本体标识”讨论的问题是“现实世界模型的形式化两个问题”(链接),首次引入了德布兰科:

  1. 德布兰科的“”人工代理价值体系中的本体危机金宝博官方”询问如何使代理的目标对本体的变化具有鲁棒性。如果代理从物理学的原子模型(其中碳原子在本体上是基本的)开始,那么这可能并不困难。但是,当代理人建立一个核物理模型(原子是由中子和质子构成的)时会发生什么呢?如果“碳识别器是硬编码的,在这个新的世界模型中,代理人可能无法识别任何碳,和可能会开始表现异常(在搜索隐藏的”真正的碳”)。代理怎么可能的设计,使它可以成功地识别”six-proton原子”以“碳原子”为了应对这种本体论危机?吗?


莱格和哈特的”通用智能:机器智能的定义”描述了AIXI,普遍智能代理在代理设置独立于环境,还有一个“评分标准”用于率不同的智能代理程序在此设置。Hutter的AIXI和Legg的得分度量在精神上与我们正在寻找的对自然化归纳和本体识别问题的响应非常相似。两个不同之处在于,AIXI生活在代理和环境分开的宇宙中,而归化归纳需要将代理嵌入环境中的解决方案,和AIXI最大化回报条款规定的观察而我们渴望一个解决方案,优化奖励条款规定的外面的世界。

你可以在Hutter的书中了解更多关于AIXI的信息普遍的人工智能,虽然阅读莱格的纸(与上图)可能满足我们的目的。


决策理论

假设我给你们以下内容:(1)一个描述宇宙的计算机程序;(2)描述代理的计算机程序;(3)代理可用的一组动作;(4)一组指定的偏好在州,宇宙的历史。我的任务是确定代理可用的最佳操作,关于那些喜好。例如,您的输入可以是:

def Universe(): .={Lo,地中海,你好={1,}操作两个,3}def Agent(): worldmodel={Lo:One,嗨,两个,Med:3}返回世界模型[Hi].={One:Lo,二:地中海,三:你好}返回领土[代理()]
def代理():worldmodel ={瞧:一,嗨,两个,Med: 3}回归世界模型[嗨]
动作={1,两个,三}
嗨地中海> >瞧

(注意代理是如何嵌入到环境中的。)这是我们不知道如何回答的另一个问题,即使在原理。这似乎很简单:只需迭代每个动作,找出哪些结果代理会如果采取的行动,然后选择导致最佳结果的行动。但事实上,在这个思维实验中,代理是一个确定的子流程确定的计算机程序:有一个行动,代理将输出,并要求“会发生“如果一个确定性程序的确定性部分做了一些它没有做的事情,那么就是定义不清楚的。

为了评估”会发生“如果代理采取不同的行动,A反事实环境(其中代理执行它不执行的操作)必须被构造。令人满意的反事实的推理理论尚不存在。我们还不理解如何识别嵌入其环境中的代理可用的最佳操作,即使在理论,甚至宇宙的充分知识和我们的偏好并给予无限的计算能力。

解决这个问题需要更好地理解反事实推理;这是决策理论的领域。

决策理论

彼得森的教科书对规范决策理论的领域进行了广泛的阐述。更快的调查,更关注Newcomblike问题,看到Muehlhauser””决策理论常见问题”。”


博弈理论

许多开放问题决策理论涉及多代理设置。我听到好事Tadelis的教科书,但自己没有读过它。你也可能与斯科特·亚历山大的运气””博弈论导论”LessWrong。



1 - 5章
(如果热情+ 6 - 9)

只是逻辑

多智能体设置的玩具模型可以在一个环境中研究,在该环境中,智能体基于它们能够证明的关于同一环境中的其他智能体的东西来采取行动。我们目前的玩具模型大量使用可证明性逻辑。

现有的反事实的推理方法在短期内都是令人不满意的(在这个意义上他们系统地实现贫困结果在一些问题上好的结果是可能的)和长期(在这个意义上使用坏反设事实将变为无效来代理推理,金宝博官方根据那些断章取义的反事实,决定他们不应该修复所有的缺陷)。我的演讲””为什么你不是有钱吗?吗?”短暂触及这两个点。要了解更多,我建议以下资源:

  1. 苏亚雷斯与法伦斯坦”对理想化的决策理论”作为一个总体概述,并进一步激发了与MIRI的研究项目相关的决策理论问题。金宝博娱乐本文讨论了两种现代决策理论的不足,并讨论决策理论中的一些新见解,指出执行反事实推理的新方法。

如果“走向理想化决策理论动作太快,这一系列的博文可能是一个更好的起点:

  1. 尤德考斯基”真正的囚徒困境”解释为什么合作不是自动的“正确”或“良好”选项。

  2. 索雷斯”因果决策理论并不令人满意。”使用囚徒困境来说明决策算法之间非因果联系的重要性。

  3. 尤德考斯基”纽科姆的理性问题和遗憾”主张关注决策理论”赢了,“不只是那些看起来直观合理。索雷斯”介绍Newcomblike问题”涵盖了类似的地面。

  4. 索雷斯”Newcomblike问题是常态”指出人工代理概率模型在常规的基础上彼此的决策标准。

美里的研究导致金宝博娱乐了发展的“无更新决策理论(UDT),一个新的决策理论,它解决了上面讨论的许多缺点。

  1. 迈克的“”预测性困境中的问题类优势”总结了UDT相对于其他已知决策理论的优势,包括永恒的决策理论(TDT),另一个主导CDT和EDT的理论。

  2. Fallenstein的“”UDT的模型与前一个具体的逻辑语句”提供了一个概率形式化。

然而,UDT绝不是解决方案,并且本身存在许多缺点,在以下地方讨论:

  1. Slepnev的“”自我实现的一个例子在UDT假证明”解释UDT如何由于伪证明而达到次优结果。

  2. Benson-Tilsen的“”UDT与已知的搜索顺序”这是一个有点令人不满意的解决方案。它包含具有已知证明搜索顺序的UDT的形式化,并演示了使用称为“打鸡与宇宙”为了避免假证明。

为了研究多代理设置,帕特里克LaVictoire已经开发了一种模态代理框架,也允许我们使用只是逻辑做出一些新颖的进步领域的决策理论:

  1. 巴拉斯等人”健壮的囚徒困境中的合作”允许我们考虑代理商,这些代理商仅基于它们所能做的来决定是否彼此合作证明关于彼此的行为。这可以防止无限倒退;事实上,两个代理的行为,行为只根据他们的行为可以证明其他可以确定二次时间使用的结果只是逻辑。


UDT是由魏戴秉国和弗拉基米尔•Slepnev等等。戴的“”走向新的决策理论”介绍了这个想法,和Slepnev的“”带有停止预言的UDT模型”提供了一个早期的第一个规范化。Slepnev还描述了UDT的一个奇怪的问题,其中代理人似乎因为智力低下而得到奖励,在“”代理模拟预测”.

这些博客文章具有历史意义,但几乎所有的内容都在走向理想化决策理论,上面。


逻辑的不确定性

想象一个黑盒,一个输入槽和两个输出降落伞。一个球可以放进输入斜槽,它将从两个输出滑道之一出来。在黑盒是小题大作的机器将球从输入输出斜槽的槽。

一个完美的概率推理者,如果不知道盒子里装的是哪台Rube Goldberg机器,就不知道盒子会如何工作,但是如果他们能找出哪些机器是在盒子里面,然后他们会知道哪个槽将球。这个寻欢环境不确定的.

理性现实的人可能知道这机器是在箱子里,也许能确切地知道机器是如何工作的,但是可能缺乏演绎能力,无法判断机器将把球掉到哪里。这个寻欢逻辑上不确定。

概率理论假定逻辑全知;它假定推理者知道他们所知道的事情的所有后果。在现实中,有限推理器在逻辑上不是全知的:我们可以精确地知道箱子实现哪台机器,以及机器如何工作,就没有时间来推断出来的球。我们在逻辑不确定性原因。

逻辑不确定性下的形式推理理论尚不存在。获得这种理解是极其重要的在构建一个高度可靠通常智能系统:每当一个代理对复杂系统的行为的原因,金宝博官方计算机程序,或其他代理人,它必须在至少一点逻辑不确定性下操作。

要了解最新技术,概率论的一个坚实的理解是必须的;考虑扩充的前几章我们费勒,章1,5,6,9,然后研究以下论文:

  1. 苏亚雷斯与法伦斯坦”问题的推理逻辑下的不确定性”提供一般介绍,解释逻辑不确定性领域并激发其与MIRI研究计划的相关性。金宝博娱乐

  2. Gaifman的“”关于一阶微积分的测度”很多年前就看过这个问题。Gaifman主要关注一个相关的子问题,的概率分配给不同的模型一个正式的系统(假设一旦模型是已知的,金宝博官方该模型的所有结果都是已知的。我们现在尝试这种方法扩大到一个更完整的概念逻辑的不确定性(推理程序可以知道模型是什么但不知道的的影响,模型),但通过Gaifman仍是有用的历史背景和理解周围的困难逻辑的不确定性。

  3. Hutter et al。””概率在一个句子表达逻辑”主要看逻辑问题的不确定性假设获得无限的计算能力(和许多阻止神谕的水平)。理解Hutter的方法(以及利用无限的计算能力可以做什么)有助于充实我们对困难问题所在的理解。

  4. Demski的“”合理的先验概率”提供可计算近似的逻辑先验。Demski后,我们的工作主要集中于在逻辑句子上建立一个近似的先验概率分布,因为提炼和近似逻辑先验的行为与一般逻辑不确定性下的推理行为非常相似。

  5. 克里斯蒂诺的”非全知,概率推理,元数学”很大程度上遵循这种方法。本文提供了一些关于逻辑先验生成的早期实践考虑,并强调了一些尚未解决的问题。


更多的历史在这个问题上工作,看盖夫曼的”富语言上的概率……”和“”用有限的资源进行推理并将概率分配给算术语句”。”


Vingean反射

人工智能问题的独特之处在于,一个足够先进的系统将能够比它的人类程序员进行更高质量的科学和工程。金宝博官方许多可能的风险和好处的高级系统源于其潜力引导自身更高层次的能力,金宝博官方可能导致智能爆炸.

如果一个代理实现超智通过递归自我完善,然后生成系统的影响完全取决于初始系统推理的能力可靠的代理,比自己更金宝博官方聪明。为了证明对更智能的系统的行为有极高的置信度,系统可以使用什么样的推理方法?金宝博官方我们称这种推理为“文根反射,弗诺·文奇之后1993),世卫组织指出,一般来说,不可能精确地预测比推理者更聪明的代理人的行为。

进行文根式反思的推理者必须进行推理。抽象地关于更聪明的代理人。这几乎肯定需要某种形式的逻辑上不确定的高置信度推理,但是代替工作的逻辑理论的不确定性,关于证明的推理(使用形式逻辑)是研究抽象推理的最佳可用的形式主义。因此,现代Vingean反射的研究需要一个背景在形式逻辑:

一阶逻辑

MIRI现有的用于研究自修改代理的玩具模型主要基于这种逻辑。理解一阶逻辑的细微差别对于使用我们开发的工具来研究能够在类似系统中接近置信度的形式系统是至关重要的。金宝博官方

我们通过构建代理的玩具模型来研究Vingean反射,这些模型能够在高度相似的系统中获得某种形式的置信度。金宝博官方前沿,阅读以下文件:

  1. Fallenstein & Soares'”文根反思:自我改进剂的可靠推理”介绍了Vingean反射,并推动它与MIRI的研究项目的联系。金宝博娱乐

  2. 尤德考斯基”拖延悖论”进入更详细的需要满意的解决方案之间走钢丝Lobian障碍(问题源于太少”自信)和不健全自信。

  3. 克里斯蒂诺等人”概率逻辑中真理的可定义性”描述早期试图创建一个正式的系统思考本身,同时避免自我参照的悖论。金宝博官方它成功了,但最终证明是不健全的。我的预排本文可以帮助把它放到更多的上下文。

  4. Fallenstein & Soares'”自我参照完善时空嵌入式智能的问题”描述我们的简单suggester-verifier模型研究代理生产略有改进的版本的自己,或“瓷砖”自己。本文演示了一个玩具的场景,在该场景中,声音代理可以成功地瓷砖(例如,获得高的信心)其他类似的代理。


Yudkowsky &赫列斯果夫倍烧的“”瓷砖变为无效来人工智能代理”是一个老的,用我的预排.

如果你对这个研究课题感到兴奋,金宝博娱乐有许多其他相关技术报告。不幸的是,他们中的大多数无法解释他们的动机,和尚未投入更大的背景。

Fallenstein的“”拖延症的概率逻辑”说明Christiano等人的概率推理系统如何不健全,容易受到拖延悖论的影响。金宝博官方尤德考斯基”允许平铺的分配……”采取一些早期步骤实现概率平铺设置。

Fallenstein的“”降低数学强度……”描述了参数多态性的一个不满意的性质,Lbian障碍的局部解。索雷斯”法伦斯坦怪物”描述了一个避免上述问题的骇客形式系统。金宝博官方它还展示了一个机制来限制代理人的目标谓词参数多态性也可以使用创建页限制较少的版本比探索瓷砖的代理。Fallenstein的“”声音理论的无穷递减序列……”描述了一种更优雅的Lbian障碍的局部解决方案,这是我们现在偏爱的部分解决方案之一。

对递归序数的理解提供了理解这些结果的有用上下文,读弗兰岑的”无限进展:对完整性的再认识。””


可订正

随着人工智能系统在智能和能力方面的发展,金宝博官方他们的一些可用选项允许他们抵制干预的程序员。我们称之为一个人工智能系统”金宝博官方可改正的“如果它与它的创造者合作视为一种纠正干预,尽管理性代理人拒绝关闭他们或修改他们的偏好的企图是默认的激励。

这一领域的研究基本上是全新的金宝博娱乐,所以只需要为了达到速度是阅读一篇论文或两个:

  1. 苏亚雷斯等人”可订正”介绍整个领域,还有一些未解决的问题。

  2. 阿姆斯特朗的”通过冷漠进行正确的价值学习”讨论了一个潜在的方法使代理人的效用函数最大化之间的冷漠,这是一个很小的一步代理,允许自己被修改。

关于可订正我们目前的工作主要集中在一个小的子问题被称为“关闭问题”:如何构造一个代理关闭的关闭按钮,并没有激励引起或阻止按的按钮吗?在这个子问题中,我们目前关注的是效用无关问题:如何构造一个代理,允许您切换它最大化的哪个效用函数,没有给予它影响转换是否发生的激励?即使我们对效用无关问题有了满意的解决方案,这不能令人满意地解决关机问题,因为似乎仍然难以具体说明关闭行为”以对反常实例化免疫的方式。斯图亚特·阿姆斯特朗写了几个博客文章的规范”减少影响”世界:

  1. ””AIs驯养减少影响””
  2. ””减少影响人工智能:没有后通道””

这些第一次还没有一个完整的解决方案,但是他们应该能让你了解我们目前对这个问题的理解。


早期作品中可以找到可订正在网上论坛更少的错误.大部分的捕获相关的结果在上面的文件。其中最有趣的是”蛋糕或死亡”,”的一个例子动机的价值选择”问题。在这个例子中,具有效用函数不确定性的agent从避免降低其不确定性的信息中获益。

阿姆斯特朗的”减少影响的数学:需要的帮助”列出指定减震剂的初步想法,和他的“”减少在实践中的影响:随机抽样未来”素描一个简单的方法来评估未来是否被影响。

阿姆斯特朗的”效用无差异”概述了最初的效用无差别的想法,由于历史原因,这很有趣。它是被归入“适当的学习通过冷漠”价值纸上面的链接。


价值学习

因为我们自己的理解我们的价值观是模糊的和不完整的,也许最有前途的值加载到一个强大的人工智能方法是指定代理的标准学习我们的价值观是递增的。但是这提出了一些有趣的问题:

假设你构建了一个包含许多结果的训练集,其中充满了快乐的人(标有“快乐的人”)。好“和其他充满悲伤的人类的结果(标签)坏的)。最简单的概括,从这些数据中,也许人类真的很喜欢人形的笑容:这个特工然后可能试图建造许多看起来很开心的小型动物人。

价值必须在线学习过程:系统必须能够识别模棱两可,提高用户查询关于这些模棱两可。金宝博官方它不仅必须确定哪些情况不知道如何分类(如情况下它不能分辨一个脸看起来快乐或悲伤),但识别培训数据没有给出任何信息的维度(比如,当培训数据从来没有显示出充满看起来快乐的人形自动机的结果时,被贴上毫无价值的标签。

当然,歧义识别仅是不够的:你不希望一个系统,花前三周要求澄清人类是否还值得当他们是在不同的海拔高度,金宝博官方或者刮风的时候,最后(运营商停止后注意)问是否重要的是人形的东西是自己的意志。

为了让一个代理可靠地学习意图,代理必须构造和精化其操作员的模型,并使用该模型通知其查询并更改其首选项。为了更多地了解这些问题和其他问题,见以下:

  1. 索雷斯”价值学习问题”提供了一个总体概述一些开放的学习与价值相关的问题。

  2. 杜威的“”学会珍惜什么”进一步探讨了价值学习的困难。

  3. 正交性的论文认为默认值学习不会被解决。

  4. 麦卡斯基尔的“”规范不确定性”为讨论提供了一个框架规范的不确定性。被警告,完整的工作,虽然包含许多见解,很长。你可以跳过部分和/或跳过一些,特别是如果你更兴奋活跃研究的其他领域。金宝博娱乐


解决规范不确定性的一种方法是Bostrom&Ord’s”议会模型,”这表明价值学习在某种程度上等同于选民聚集问题,许多价值学习系统可以被建模为议会投票系统(其中选民是可能的金宝博官方效用函数)。

欧文·科顿-巴拉特”几何正常化的原因……”讨论了效用函数的归一化;这与道德不确定性下的玩具推理模型有关。

Fallenstein &施奈尔的“”响度”讨论由效用函数编码的偏好在正仿射变换(例如,正仿射变换)下被保持的事实引起的对聚合效用函数的关注。当效用函数被缩放或移位时。这意味着需要特别注意为了规范化的一组可能的功能。


其他工具

掌握在任何主题可以是一个非常强大的工具,特别是在数学领域,在表面上不相关的主题实际上是紧密联系的。数学的许多领域的财产,如果你理解很好,然后理解是有用的无论你去哪里。考虑到这一点,虽然下面列出的主题是没有必要为了理解米里的活性研究,金宝博娱乐这些科目的理解构成一个额外的工具时往往会证明非常有用的数学工具进行新的研究。金宝博娱乐

离散数学

教科书可用在线.大多数数学研究连续或离散结构。许多人发现离散数学更直观,和一个坚实的离散数学的理解将会帮助你获得一个快速处理离散版本的其他许多数学工具,群理论等拓扑结构,以及信息论。


线性代数

线性代数是数学中几乎无处不在的工具之一。对线性代数的深入理解将有助于许多领域。


类型理论

集合论通常是现代数学的基础,但它不是唯一的候选人。类型理论也可以作为数学的基础,在许多情况下,类型理论是更适合手头的问题。类型理论还弥合了计算机程序和数学证明之间的许多理论鸿沟,因此,通常与某些类型的人工智能研究相关。金宝博娱乐


范畴理论

范畴论研究许多数学结构在一个非常高水平的抽象。这可以帮助你发现在不同数学分支的模式,并使它更容易转移你的数学工具从一个域到另一个地方。


拓扑结构

拓扑学是数学中几乎无处不在的另一门学科。在许多意想不到的地方,对拓扑的深入理解是有帮助的。


可计算性和复杂性

MIRI的数学研究正致力金宝博娱乐于最终与计算机程序相关的解决方案。良好的直觉对计算机有能力往往是必不可少的。


程序验证

程序验证技术允许程序员成为相信一个特定的程序会根据一些行为规范。(它是什么,当然,尽管MIRI的工作目前并不涉及验证真实世界的程序,它是非常有用的理解现代程序验证技术可以和不能做什么。

理解任务

为什么这种研究呢?金宝博娱乐吗?

超智

本指南主要假定你已经与美里的使命,但如果你想知道为什么这么多人认为这是一个重要而紧迫的研究领域首先,金宝博娱乐,超智提供了一个很好的概述。


理性:从人工智能到僵尸

这个电子多美编译六卷的文章解释米里背后的哲学和认知科学的角度对人工智能。


不平衡

微观经济学的讨论和认识论在发现社会失误和盲点,包括被忽视的研究机会。金宝博娱乐试图回答的基本问题,”什么时候实现非同寻常目标的雄心勃勃的项目才有希望成功?””