MIRI常见问题解答


  1. 1。什么是美里的使命是什么?
  2. 2。为什么认为AI可以超越人类?
  3. 3.为什么安全比人工智能更重要?
  4. 四。不要研金宝博娱乐究者认为AI是迫在眉睫?
  5. 5个。什么技术问题,你的工作吗?
  6. 6。为什么要早做人工智能安全工作?
  7. 7号。我该怎么做?

一。米里的任务是什么?


我们的使命是要“确保比人类更聪明,人工智能的创作有着积极的影响。”这是一个雄心勃勃的目标,但我们认为,一些早期的进步是可能的,我们认为,该目标的重要性和困难使尽早开始工作成为谨慎的做法。

我们的两个研究议金宝博娱乐程将机器智能与人类利益对齐的代理基础“和”先进机器学习系统的价值校准金宝博官方“关注三组技术问题:

  • 高可靠性代理设计- 学习如何指定可靠地追求一些固定的目标高度自治系统;金宝博官方
  • 价值规范- 提供与预期目标的自治系统;金宝博官方和
  • 误差容限- 使这种系统鲁棒性编程错误金宝博官方。

我们发布新金宝博娱乐 ,主机金宝博娱乐 ,参加会议,以及基金研究人员外金宝博娱乐有兴趣调查这些问题的人。我们还主办了188bet娱乐城 和一个在线金宝博娱乐研究论坛

2.为什么认为AI可以超越人类?


在许多特定任务上,机器已经比人类更聪明:执行计算、下棋、搜索大型数据库、探测水下地雷等等。1然而,人类的智慧将继续在一般性支配机器智能。

一台强大的象棋计算机是“狭隘的”:它不能玩其他游戏。相反,人类有解决问题的能力,使我们能够适应新的环境,并在许多领域超越祖先环境为我们准备的东西。

在没有“智力”的正式定义(因此“人工智能”),我们可以试探性地举人类的感性,推理和审议院系(相对于,例如,我们的体力和敏捷性),并说情报是‘像这样的东西。’在这种观念,智慧是不同院系的包 - 尽管包括我们的科学能力非常重要的包。

我们的认知能力在我们的大脑高层次的模式干,而这些模式可以在硅和碳被实例化。这就告诉我们,一般的AI是可能的,但它并没有告诉我们,这是多么的困难。如果智能足够很难理解,那么我们就可以在机器智能扫描并模仿人类大脑或一些试错的过程(如进化),而不是手工编码的软件代理到达。

如果机器能够在认知任务实现人类对等,那么它很可能,他们最终可以超越人类。几乎没有理由认为生物进化,其缺乏远见和规划,将会对一般智力的最佳算法命中(任何比它想出的最佳的飞鸟机)。外质量改进在认知,尼克·博斯特罗姆笔记更直接的优势,我们可以实现数字头脑,例如:

  • 可编辑性-“在软件中试验参数变化比在神经湿件中容易。”2
  • 速度- “光的速度比神经传输的大超过一百万次,突触尖峰消散超过一百万次以上的热量比在热力学上是必要的,并且电流晶体管频率超过一百万次以上的神经元尖峰频率更快。”
  • 串行深度-在短时间内,机器可以执行更长的顺序过程。
  • 存储容量-计算机可能有更大的工作和长期记忆。
  • 尺寸- 计算机可以比人类大脑大得多。
  • 可复制- 复制软件到新硬件上可以更快,更高保真度比生物繁殖。

这些优点中的任何一个可以给一个AI推理器的边缘在人的推理器,或给一组的AI推理在人类群体的边缘。他们的组合表明,数字头脑的人才能人心更迅速和果断地比我们所期望的超越。

3.为什么安全比人工智能更重要?


当今的人工智能算法在没有人类监督的情况下必须在重要领域采取行动时,特别是在它们或它们的环境可能随时间变化时,已经需要特殊的安全保障:

实现这些收益[从自治系统]将取决于开发一种全新的方法,通过验证和确认(V&V)金宝博官方由高水平的[适应性]和自治产生的近乎无限的状态系统来实现“信任自治”。实际上,这类系统所能呈现的可能输入状态的数量是如此之大,以至于不仅不可能直接测试所有的输入状态,甚至测试其中微不足金宝博官方道的一小部分也不可行。因此,这种系统的开发在今天的方法中本质上金宝博官方是无法证实的,因此,它们在几乎所有相对琐碎的应用程序中的操作都是不可证实的。

开发具有高度自主性的系统是可能的,但缺乏适当的V&V金宝博官方方法,使得几乎所有的自主性水平相对较低的系统都无法获得使用认证。3

作为AI能力提高,会更容易给AI系统更大的自主权,灵活性和控制;金宝博官方而且会有越来越大的奖励,以充分利用这些新的可能性。对于AI系统的潜力变得更加普遍,特别是会使金宝博官方其难以建立安全保证:测试可能并不总是持有化验后在可靠的规律。

在人类福利最大,最持久的变化来自科技创新 - 而这又源于我们的智慧。从长期来看的话,很多的AI的意义来自于它的潜力,自动化及加强在科技进步。创建更聪明,比人类的AI与它带来的基本风险和智力发展自身的利益,在数字化的速度。

由于AI代理变得更有能力,它来分析和验证他们的决策和目标变得更为重要(也更困难)。斯图尔特罗素写入

主要关注的不是鬼应急意识,但仅仅为了使能力高质量决策. 这里,质量是指所采取行动的预期结果效用,其中效用函数可能由人类设计者指定。现在我们有一个问题:

  1. 效用函数可能与人类的价值,这是(最好)很难牵制完全一致。
  2. 任何有足够能力的智能系统都宁愿确保自己的持续存在,并获取物理和计算资源——金宝博官方不是为了它们自己,而是为了成功完成它所分配的任务。

优化金宝博官方函数的系统ñ变量,其中目标取决于大小的一个子集k < n,通常会将其余未受约束的变量设置为极值;如果这些无约束变量中的一个确实是我们所关心的,那么找到的解决方案可能是非常不可取的。这基本上是关于神灯中的精灵、魔法师的学徒或迈达斯王的古老故事:你会得到你想要的,而不是你想要的。4

博斯特罗姆的“最聪明的意志“更详细地阐述了这两个关注点:我们可能没有正确地指定比人工智能系统更智能编程的实际目标,并且大多数为错误指定目标而优化的代理将有动机以敌对的方式对待人类,将其视为实现代理目标的潜在威胁或障碍。金宝博官方

如果人类与AI代理的目标没有很好地对齐,更多的知识和技术能够代理可以使用武力来获得想要的东西,如发生在人类社区之间的许多冲突。已经注意到了这个类的提前关注,我们有机会向由人工对准决策者的利益与我们自己的指导研究,以减少这种默认方案的风险。金宝博娱乐

4.是否研究金宝博娱乐者认为AI是迫在眉睫?


2013年初,博斯特罗姆和米勒调查了被微软学术搜索(Microsoft Academical Search)排名的100位人工智能(AI)活作者。在“没有全球灾难阻止进展”的条件下,29位专家给出了一个中位数10%的概率来帮助我们开发一种机器,到2023年“能够完成大多数人类职业,至少是一个典型的人类”,到2048年达到50%的概率,到2080年达到90%的概率。

MIRI的金宝博娱乐大多数研究人员大致同意10%和50%的日期,但认为人工智能可能会明显晚于2080年。这与博斯特罗姆在超智能

我个人的看法是,中位数号码的专家调查报告不会对以后到货日期足够的概率质量。HLMI [人类水平的机器智能]的概率为10%没有得到2075甚至2100开发(conditionalizing的“人类科学活动持续无重大利空干扰”后)似乎太低了。

从历史上看,人工智能研究人员在预测金宝博娱乐自身领域的进展速度或此类进展将以何种形式出现方面都没有良好的记录。一方面,一些任务,如下棋,结果是通过令人惊讶的简单程序就可以完成;还有那些声称机器“永远”不可能做到这一点或那一点的反对者,已经被反复证明是错误的。另一方面,实践者中更典型的错误是低估了让一个系统在现实任务中可靠地执行的困难,并且高估了他们自己特别钟爱的项目或技术的优势。金宝博官方

鉴于专家(和非专家)在预测人工智能进展方面的不良记录,我们都比较不可知约满时,AI会被发明。它可能来得早于预期,或晚于预期。

专家们还报告了10%的平均信心,超级智能将在2年内人类等价的开发,并且75%的信心,超级智能将在30年内人类等价的开发。这里MIRI研究者中金宝博娱乐间视图的意见,从AI专家显著差异;我们预计AI系统能够相对迅金宝博官方速,一旦接近人类等价超越人类。

5.什么技术问题,你的工作吗?


“对齐更聪明,比人类的AI与人类利益”是一个极其模糊的目标。为了高效地解决这个问题,我们试图将其因式分解成若干子问题。作为一个起点,我们要问:“是什么这个问题的各个方面将我们仍然无法即使解决,如果问题要容易得多?”

为了比人类更有效地实现真实世界的目标,一般的AI系统将需要能够随着时间的推移,了解它的环境和可能的建议或行动之间做出选择。金宝博官方对齐问题的简化版本,那么,会问我们如何构建学习它的环境,有一个非常粗糙决策准则,就像一个系统“选择最大化的世界钻石预期数量的政策。”金宝博官方

高可靠性代理设计是一个技术挑战,正式指定一个软件系统,可以依赖,以追求一些预先选定的玩具目标。金宝博官方这个空间子问题的一个例子是本体鉴定:我们如何将“钻石最大化”的目标形式化,使完全自治的代理最终可能出现在意外的环境中,并可能构建意外的假设和策略?即使我们拥有无限的计算能力,而且一直在这个世界上,我们现在也不知道如何解决这个问题。这表明我们不仅缺少实用的算法,而且还缺少一个基本的理论框架来理解这个问题。

形式代理AIXI试图在强化学习者的情况下定义我们所说的“最佳行为”的含义。然而,如果我们的目标是改变外部世界(而不仅仅是最大化预先指定的奖励数量),那么我们缺乏一个简单的类似AIXI的方程来定义我们所说的“良好行为”的含义。为了让代理评估其世界模型以计算钻石数量,而不是拥有特权奖励渠道,其世界模型必须具备哪些一般形式属性?如果系统以程序员意想不到的方式更新其假设(例如,发现弦理论是真的,量子物理是假的),那么它如何识别新模型中的“钻石”?这是一个非常基本的问题,但相关的理论目前还没有。金宝博官方

我们可以从问题区分高可靠的代理设计价值规范:“一旦我们了解如何设计一个独立的AI系统,促进了目标,我们如何确保它的目标实际上是一致,我们想要什么?”金宝博官方由于人为错误是不可避免的,我们需要能够安全地监督和重新设计AI算法甚至当他们接近人体等效于认知任务,MIRI也适用于形式化容错剂的性质。人工智能:一种现代方法AI的标准教科书,总结了挑战:

Yudkowsky [...]断言友好(的愿望不危害人类)应该从一开始就被设计,但设计师应该认识到这两个是自己的设计可能存在缺陷,以及该机器人将学习并随着时间的推移。因此,面临的挑战是机制设计中的一个 - 来设计制衡制度下AI进化的机制,并给予该系统的实用功能,将保留在这种变化面前友好。金宝博官方6

我们的技术议程更详细地描述这些开放问题,以及金宝博娱乐研究指南收集在线资源以了解更多信息。

6。为什么要早做人工智能安全工作?


MIRI优先年初安全工作,因为我们相信,这样的工作是重要对时间敏感的易处理信息性

AI安全工作的重要性,概述第三季度,. 我们认为这个问题是时间敏感的,因为:

  • 忽视- 只有极少数的人目前正致力于在MIRI技术议程所列的开放问题。
  • 明显的困难- 解决对齐问题可能需要大量的研究员小时,也可能更难并行比能力研究。金宝博娱乐
  • 风险不对称-为安全工作太晚比太早有更大的风险。
  • 人工智能时间线不确定性-人工智能的发展速度可能会快于我们的预期,这就需要谨慎行事。
  • 人工智能的不连续进展人工智能的进展可能会加速,因为我们接近一般的人工智能。这意味着,即使人工智能离我们还有几十年的时间,等待人工智能即将来临的明确信号也是危险的:只有在开始安全工作时才可能出现明确信号。

我们也认为这是可能今天做无用功在AI的安全,即使聪明,比人类的AI是50年或100年的路程。我们认为这有几个原因:

  • 缺乏基本理论-如果我们对自主代理中的正确行为有简单的理想化模型,但不知道如何设计实际的实现,这可能意味着需要更多使用已开发系统的动手工作。金宝博官方然而,我们缺少的是简单的模型。基本理论不一定要求我们有软件系统实现细节的经验,同样的理论可以应用于许多不同的实现。金宝博官方
  • 先例-理论计算机科学家在相对缺乏实际实施的情况下,在发展基本理论方面屡次取得成功。(著名的例子包括Claude Shannon、Alan Turing、Andrey Kolmogorov和Judea Pearl。)
  • 早期结果-我们已经取得了重大进展,因为我们优先考虑了一些理论问题,特别是在决策理论合乎逻辑的不确定性。这表明,有被采摘唾手可得的理论成果。

最后,我们预计AI安全理论的进展,为改善我们的强大的AI系统的了解,可用技术选项是有用的,以及更广泛的战略格局中。金宝博官方特别是,我们期望透明度对于可靠的行为是必要的我们认为,要让自主人工智能系统对人类设计者和用户透明,有一些基本的理论前提条件。金宝博官方

在设计比人类更聪明的人工智能系统时,拥有相关的理论可能并不是绝对必要的——高度可靠的代理可能需要使用与那些表现出不可靠行为的最容易构建的比人类更聪明的系统完全不同的架构或认知算法。金宝博官方出于这个原因,一些相当普遍的理论问题可能与AI安全工作比主线AI能力工作更相关。因此,人工智能安全工作信息化的关键优势包括:

  • 信息的一般价值- 让AI的安全问题,更清晰,更准确,很可能会给见解什么样的形式工具会回答他们有用。因此,我们就不太可能花时间在整个研究的错误路线。金宝博娱乐调查在这方面的技术问题,还可以帮助我们开发的AI问题是如何艰难更好的感觉,以及如何艰难的AI对齐问题。
  • 信息测试要求- 如果系统是不透金宝博官方明的,然后在网上测试可能不是我们需要设计更安全的系统中的信息最给我们。人类是不透明的一般推理,并研究大脑已经相当有用的设计更有效的AI算法,但一直不太有用建立验证和确认系统。金宝博官方
  • 安全试验要求-从不透明的系统中提取信息可能不安全,因为我们构建的任何沙箱都可能存在明显的缺陷金宝博官方,这对超级智者来说是显而易见的,但对人类来说则不是。

7号。我该怎么做?


美里是一个非营利性的金宝博娱乐研究主要由小型和中型的捐助者资助。捐款因此资助我们的数学工作,研讨会,学术推广等有益

对于有兴趣了解更多关于我们的研究重点,并可能与我们合作,我们的人金宝博娱乐金宝博官方 有一个申请表和一些定期更新的在线资源。

罗伯·本辛格写的。上次更新时间:2016年9月18日。

  1. 尼尔森(2009)。对人工智能的追求。剑桥大学出版社。
  2. 博斯特罗姆(2014)。超智能:路径、危险、策略。牛津大学出版社。
  3. 美国空军首席科学家办公室(2010年)。技术视野:空军科技展望2010-30
  4. 罗素(2014)。“神话和月光“。edge.org. 边缘基金会公司。
  5. 穆勒和博斯特罗姆(2014)。“人工智能的未来进展:专家意见综述在穆勒(ed.)中,人工智能的基本问题. 斯普林格。
  6. Russell和Norvig还(2009年)。人工智能:一种现代方法。皮尔逊。