MIRI的2019筹款

||新闻

米里2019年筹款活动得出的结论。

在过去的两年里,巨大的捐赠者支持帮助我们将人工智能校准研究团队的规模扩大了一倍。本月达到100万美元的筹款目标,将使我们能够在2020年及以后继续保持增长,招募尽可能多的优秀人才来承担我们金宝博娱乐看来是结盟的核心技术障碍。

我们的筹款进度,实时更新(包括在Facebook上进行的捐赠和比赛)给予星期二事件):




MIRI是CS /数学研究组的了解如金宝博娱乐何可靠地“瞄准”在已知的目标未来通用的AI系统的目标。金宝博官方的介绍,这一研究领域,看金宝博娱乐确保智慧超人类智能已经取得积极成果在先进的机器学习系统举一反三优化风险金宝博官方。有关我们如何处理这个问题的背景,看2018年更新:我们的新研究方向金宝博娱乐嵌入式代理

2017年底,我们宣布计划将大幅增长我们的研究团队,聘请的一个目标“围绕十个新科研人员金宝博娱乐在今后两年。”两年后,我很高兴向大家报告,我们八个科研人员,我们必须在明年二月第九启动,这将使我们的总的研究团队大小为20。金宝博娱乐1

我们仍然感到兴奋我们目前的研究方向,并继续认为我们可以通过增加额外的研究金宝博娱乐人员和工程师团队使他们进步得更快。因此,我们的主要组织重点保持不变:推动我们的研究方向,并壮大科研队伍,加快我们的进步。金宝博娱乐

虽然我们还不确定我们最终想要增长多少,但我们计划在未来两年内继续以类似的速度增长研究团队,因此预计到2021年底将增加大约10名研究人员。金宝博娱乐

我们预计2020年的预算是640万到740万美元,其中有680万美元的点估算,2从今年的600万美元左右上涨。3在主线增长情况下,我们预计我们的预算如下:

展望未来,由于员工薪酬占我们支出的绝大部分,我预计我们的支出将按年增长,而研究团队的增长仍将是一个优先事项。金宝博娱乐

考虑到我们2020年680万美元的预算,以及我们目前手头的现金,在这次筹款活动中筹集100万美元将使我们在2020年处于有利地位。到2020年,我们的现金储备将达到1.25-1.5年,达到100万美元,这正是我们想要的,以支持正在进行的招聘工作,并提供我们需要的信心,支持我们的工资和其他财务承诺。

有关我们一直到今年为止,我们的2020年计划的更多详情,请继续阅读!

1.工作坊及扩展计划

如果你生活在一个不知道微积分但你知道有东西不见了,什么样的常规做法能最大限度地提高你提出这个问题的可能性?

如果一开始你就不知道缺了什么呢?你和一些朋友可以吗到齐并做过调研金宝博娱乐在某种程度上让你注意到它,问正确的问题?

MIRI认为,人类目前缺少一些核心概念和方法AGI开发人员需要以调整他们的系统在道路上。金宝博官方我们认为我们已经找到的研究路径,可以帮助解金宝博娱乐决这个问题,和好办法通过实验来迅速提高我们的认识;而我们渴望更多的研究者和工程师们的眼睛和大脑增加了工作量金宝博娱乐。

MIRI当前工作的很大一部分是在Haskell中完成的,并且受益于函数式编程和依赖类型系统的经验。金宝博官方更一般地说,如果你是一个程序员,喜欢寻找最适合用例的抽象,开发干净的概念,制作并部署优雅的组合子,或者大胆地尝试回答计算机科学中最深奥的问题,那么我们认为你应该这样做适用于这里工作,了解我们车间,或提出问题

如上所述,我们的研究团队正在快速增长。金宝博娱乐最新增加的MIRI团队包括:

新的美里的员工埃文·胡宾格上“的合着者在先进的机器学习系统举一反三优化风险金宝博官方”。埃文以前设计的函数式编程语言椰子,曾在OpenAI实习,并在Google、Yelp和Ripple做过软件工程工作。

杰里米·施莱特他是一名软件工程师,曾在谷歌和OpenAI工作过。杰里米参与的一些公共项目包括OpenAIDota 2机器人以及用于Go编程语言的调试器。

Seraphina不行!,于2020年2月加入MIRI。Seraphina这个月从欧柏林学院毕业,主修数学,辅修计算机科学和物理。她之前做过关于超轻暗物质候选者、深度强化学习和教金宝博娱乐神经网络做高中数学的研究。

雷夫肯尼迪在加入MIRI之前,她在有效利他主义酒店(Effective利他主义Hotel)担任独立存在风险研究员。金宝博娱乐Rafe之前在数据科学初创公司NStack工作,他拥有牛津大学物理学和哲学的哲学博士学位。

航空公司美里的员工和工作试验通常是由我们的4.5天拉,全部费用付费电脑科学家面临的人工智能风险(AIRCS)车间系列。

我们的研讨会项目是我们所知道的最好的方法,它可以把有前途的人才带入我们认为是有用的轨道,成为高贡献的人工智能研究人员和工程师。金宝博娱乐我们已经建立了参与者喜爱的、我们认为非常有价值的体验,我们计划继续试验新版本的研讨会,并期望在2020年举办10个研讨会,而今年只有8个。

这些方案导致的在美里的新员工以及其他AI安全组织好一些,我们发现他们一切从引智外人AI安全,练级了谁一直在思考这些问题多年来,人们的价值。

如果你有兴趣参加,在此应用。如果你有任何问题,我们强烈建议你拍摄巴克Shlegeris一封电子邮件。

我们的MIRI夏季奖学金项目对我们也有类似的作用,但更多的是针对数学家。我们正在考虑在2020年以较短的格式运行MSFP。有关MSFP的任何问题,请发送电子邮件科尔姆ÓRiain

2。研金宝博娱乐究和报告

我们的2018策略更新继续是一个伟大的概述,MIRI站在今天,描述我们如何思考我们的研究,布局我们的金宝博娱乐在这里工作的理由,并解释为什么我们的大部分工作目前不面向公众

考虑到后一点,我将在这一节集中讨论我们去年写的东西,提供MIRI的一些个人目前正在做的工作的快照(没有任何意想的暗示,这代表了整个工作),并传达我们目前对我们的研究进展的一些广泛印象要走了。金宝博娱乐

我们今年的一些主要评论和出版物包括:

  • 在先进的机器学习系统举一反三优化风险金宝博官方埃文·哈宾格(Evan Hubinger)、克里斯·范·梅威克(Chris van Merwijk)、弗拉基米尔·米库利克(Vladimir Mikulik)、约尔·斯卡尔斯(Joar Skalse)和斯科特·加拉格兰特(Scott Garrabrant)。这篇论文的产生过程,极大地澄清了我们自己的思考,并启发了Scott和Abram关于子系统金宝博官方对齐在“嵌入式代理。”

    斯科特认为“学习优化的风险”与“嵌入式机构”具有相当的重要性,是对关键调整困难的阐述,我们对该领域迄今为止与“学习优化的风险”中的思想对话产生的新对话和研究感到非常高兴。金宝博娱乐

  • 对人体模型的思考由Scott Garrabrant和DeepMind的MIRI研究助理Ramana Kuma金宝博娱乐r提出,人工智能校准研究社区应该开始优先考虑“在没有人类模型的情况下工作良好的方法”

    的role of human models in alignment plans strikes us as one of the most important issues for MIRI and other research groups to wrestle with, and we’re generally interested in seeing what new approaches groups outside MIRI might come up with for leveraging AI for the common good in the absence of human models.

  • 大马士革诈死案——纳特·苏亚雷斯(Nate Soares)和本·莱文斯坦(Ben Levinstein)。我们在2017年的正式认识论研讨会上提交了这篇决策理论论文,但现在已经接受了一个稍微编辑过的版本哲学杂志以前哲学的第二高质量学术期刊。

  • 校准研究现场指南金宝博娱乐这是一个非常容易获得和广泛适用的资源,无论是对个人研究人员还是刚刚起步的团队。金宝博娱乐

我们最近的另一篇公开文章包括一个有效的利他主义论坛阿玛和巴克·史莱杰里斯亚伯兰Demski的预言的比喻的许多有趣的输出人工智能校准书写日我们在今年的米里暑期研究员项目即将结束时举办了这次活动。

转向我们的研究团队,去年我们金宝博娱乐宣布那个多产的Haskell程序员Edward Kmett加入了MIRI团队,让他自由地去做他热衷于改进高可靠(同时也是高效)编程语言状态的事情。MIRI执行董事Nate Soares认为这一目标非常雄心勃勃,尽管如果存在既高效又能对其属性提供强有力的形式保证的编程语言,那么对世界的感觉会更好。

今年,爱德华与MIRI团队的其他成员更紧密地转移到伯克利的工作。我们发现它非常有帮助的身边提供思路和贡献,我们更注重的工程项目,帮助给实际接地的一定量的工作。爱德华还继续与他通过连接在函数式编程和类型理论的世界招募了巨大的帮助。

与此同时,我们的最新成员,埃文·休宾格,计划继续致力于解决内在的一致性对于放大。Evan概述了他的金宝博娱乐研究计划在人工智能对齐论坛上,注意到轻松对抗训练是他的研究议程的一个相当先进的最新声明。金宝博娱乐斯科特和其他研究人员在MIRI考金宝博娱乐虑埃文的工作非常令人兴奋,无论是在放大的情况下和其他对齐的情况下接近它有可能成为一种有用的。

艾布拉姆·德姆斯基是另一位米里研究者,他在过去一年里写下了金宝博娱乐大量的研究思想。阿布拉姆报告(富勒思想在这里),他今年已经不再采用传统的决策理论方法,现在正把更多时间花在学习理论方法上,类似于MIRI研究助理Vanessa Kosoy。金宝博娱乐引用亚伯兰:

2018年12月左右,我对“经典决策理论”的思维模式(学习和决策被视为两个独立的问题)进行了一次大的更新,并采取了一种学习理论的方法。[…我]做了一些尝试来交流我对UDT和学习理论方法的更新,包括这帐面价值。我和Daniel Kokotajlo谈过,他写了承诺竞争问题,我认为这抓住了很大一部分。

对她来说,凡妮莎最近的工作包括118bet金博宝app ,她在ICLR 2019 SafeML研讨会上介绍。

我要再次指出,以上这些都是MIRI研究人员所追求的特定研究方向的快照,并不一定代表其他研究人员的观点或关注点。就像巴克最近金宝博娱乐指出, MIRI有一个相当扁平的管理结构。我们以减少官僚主义和尊重我们的研究人员形成他们自己的内部视图模型的能力为傲,这些模型是关于对齐问题和下一步需要取得进展的内容。金宝博娱乐内特最近也表达了类似的想法如何实现默认不公开

因此,美里的更多的数学研究,尤其是容易受到个别车型和研究的口味来决定,不期望每个人都将共金宝博娱乐享问题的同样的观点。

关于他对米里的新研究方向进展的总体(非常高层次)感觉,内特·索雷斯报告说:金宝博娱乐

在2019年的进展比预期要慢,但我有稳步推进的感觉。特别是,我的经验是比前一周稳步感觉不太混淆每周一前,我和具有被阻止我们做我们想要做的事情,看着他们几个小时,然后实现困难,其他研究者,我们金宝博娱乐’d been thinking wrongly about this or that, and coming away feeling markedly more like we know what’s going on.

An example of the kind of thing that causes us to feel like we’re making progress is that we’ll notice, “Aha, the right tool for thinking about all three of these apparently-dissimilar problems was order theory,” or something along those lines; and disparate pieces of frameworks will all turn out to be the same, and the relevant frameworks will become simpler, and we’ll be a little better able to think about a problem that I care about. This description is extremely abstract, but represents the flavor of what I mean by “steady progress” here, in the same vein as我去年写的关于“去核融合”的文章。

我们希望这样的进步能够给我们提供一个平台,让我们能够在核心AI对齐障碍上产生特别令人兴奋的结果,我希望能够很快看到这样的结果。然而,到目前为止,我对花在消除自我束缚和支撑框架上的时间感到失望;我以前期望更快地得到更令人兴奋的结果。

在我们金宝博娱乐正在从事的这类研究中,在取得可观的成果之前出现多年的情况并不罕见,不过,如果我们确实在朝着正确的方向前进,我们也应该预期,有时会看到令人惊讶的快速进步。我对我们正在进行的工作的内部看法是,目前我们正处于富有成效的轨道上,不久就会看到我们更感兴趣的结果。

因此,我金宝博娱乐们的研究进展比我们所希望的要慢,但进展的速度和质量仍然使我们认为这项工作非常值得,我们仍然对我们将进一步的研究人员时间转化为更快的进展的能力感到乐观。同时,我们也在(当然)寻找我们的研究瓶颈在哪里,以及如何使我们的工作更有效率,我们也在继续寻找我们可以做出的可能进一步提高我们产出的调整。

如果在接下来的几年里一切进展顺利——这似乎是可能的,但还远远不能保证——我们将继续寻找新的方法,在我们非常关心的研究主题上取得进展,并继续寻找雇用人员来帮助实现这一目标的方法。金宝博娱乐

金宝博娱乐研究人员的扩张是我们支出增长的最大来源,通过鼓励我们在令人兴奋的招聘机会上加快步伐,捐助者的支持在我们如何执行研究议程方面发挥着关键作用。尽管我们迄今为止获得的巨大支持使我们即使在新的规模下也处于稳固的地位,但进一步的捐助者支持对我们继续增长是一大帮助。如果你想参与其中,谢谢。



  1. 这个数字包括一名新员工,他目前正在我们这里进行为期6个月的试验。
  2. 这些估计是用一个类似于我去年使用的模型生成的。有关更多详细信息,请参见2018募捐帖
  3. 这属于我估计$ 4.4M- $ 5.5M范围之外我们2018募捐帖,但与我们在第一季度2019内部进行订正概算的高端路线。