关于米里


机器智能研究所是一个研究智能行为的数学基础的非盈利金宝博娱乐性研究机构。我们的任务是开发用于通用AI系统清洁设计和分析的正式工具,金宝博官方目的是在开发这些系统时使这些系统更安全、更可靠。金宝博官方

人工智能领域以夸大其进展而闻名。在“人工智能冬天70年代末和80年代,金宝博娱乐研究人员未能兑现雄心勃勃的承诺,导致资金和人工智能的兴趣崩溃。尽管这块田地正在复兴,过度自信仍然是主要的恐惧;关于人类等效的一般智力的可能性的讨论在很大程度上仍被放在科幻小说的书架上。

同时,金宝博娱乐研究人员基本上同意,在大多数认知任务中,人工智能可能开始表现得比人类好。在这个世纪。鉴于领域通用人工智能可能具有多大的破坏性,我们认为现在就开始讨论这个问题是明智的,并调查是否有有限的领域我们可以预测和塑造这种技术的社会影响。

金宝博娱乐MIRI的研究人员倾向于相对的不可知论者关于未来几十年人工智能的最新水平将如何改变,和多少年聪明比人类的人工智能系统。金宝博官方然而,我们认为一些定性预测是可能的:


    -据认为,推论,改进了规划算法,人工智金宝博官方能系统将随着越来越复杂和长期的决策而得到信任。小的错误将会产生更大的后果。
    ——现实的目标和环境一般推理系统太复杂,程序员直接指定。金宝博官方人工智金宝博官方能系统将需要归纳学习正确的目标和环境模型。
    -最终导致其金宝博官方环境模型差的系统可能造成重大损害。然而,糟糕的模型限制了规划系统控制其环境的能力,金宝博官方这限制了预期的伤害。
    ——明显的限制越来越少的危害系统指定的目标可能会很差。金宝博官方特别地,自主学习系统金宝博官方 关于人类的目标,但并没有正确地设计成使自己的目标与其人类目标的最佳模式一致,如果没有适当的检查,可能会造成灾难性的伤害。
    -人工智能系统的目金宝博官方标或世界模型可能很脆弱,表现出异常良好的行为,直到一些看似不相关的环境变量发生变化。这又是一个更大的关心比错误信念和推理不正确的目标,因为不正确的目标不限制一个高智商的功能系统。金宝博官方

斯图尔特·罗素MIRI研究顾金宝博娱乐问和领先的人工智能教材,在争论中“人工智能的未来“我们应该将鲁棒性和安全性问题纳入主流能力研究:金宝博娱乐


我们作为一个领域的目标是做出更好的决策系统。金宝博官方这就是问题所在。[如果]你要造一台超智能机器,你必须给它你想要它做的事情。危险在于,你给它的东西实际上不是你真正想要的——因为你不擅长表达你真正想要的,甚至知道你真正想要的东西,直到它太迟了,你发现你不喜欢它。

如果你只是从优化问题的角度来考虑:机器正在为您解决优化问题,你省略了一些你真正关心的变量。好,优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,金宝博官方为了优化应该是优化的,它将把其他值设置为极端值。

我的建议是,我们应该停止在AI的简单定义中仅仅改进系统的决策能力。金宝博官方[…]土木工程,我们不叫它”建造不倒塌的桥梁-我们叫它”建造桥梁。”当然,我们不想让他们倒了。我们应该以同样的方式思考AI:当然AI系统应该这样设计他们的行为与人类想要很好地结合。金宝博官方但这是一个未解决的难题还没有研究议程的一部分。金宝博娱乐

我们想改变这个领域,让它感觉像土木工程或者核聚变。[我们]制造了氢弹爆炸——无限量的能量,超过我们能够使用的。但它不是在一个对社会有益的形式。现在这正是融合研究人员所做的-遏制就是融合研究金宝博娱乐。这就是他们工作的问题。


按照罗素的说法,MIRI的工作旨在帮助启动一个意识到该领域长期影响的人工智能研究范式。金宝博娱乐我们的方法论是将对齐问题分解为更简单和更精确的子问题,开发基本数学理论对于理解这些问题,然后利用我们在工程应用。




更多学习资源



斯图尔特·阿姆斯特朗(StuartArm.)短小精悍,生动活泼,这是对AI目标对准问题的两个最好的非技术介绍。比我们聪明和尼克·博斯特罗姆的更深入的专著超智能


比我们聪明


“人类驾驭未来不是因为我们最强或最快,而是因为我们最聪明。当机器变得比人类更聪明时,我们会把方向盘交给他们。这些强大的机器会带来什么希望和危险?““

超智能

“智能搜索工具最优的计划和策略可以在服务任何目标时执行。智力和动机在某种意义上是正交的:我们可以把它们看作横跨一个图的两个轴,其中每个点代表逻辑上可能的人工代理。”“

“[T]他正交性的论文表明,我们不能轻率地认为超智一定会分享任何最终值的人类智慧和智力发展相关定势。”“


关于美里的更多技术细节的研究重点,金宝博娱乐见:


最后,一般信息: