MIRI的2016筹款

||和平号战略,新闻

12月22日更新:募捐活动期间,我们的捐赠者聚集在一起,为我们实现75万美元的目标提供了大部分途径。共有251名捐赠者捐款589248美元这是我们迄今为止第二大的筹资活动虽然我们比目标少了16万美元,但由于11月/ 12月的捐助者,我们已经弥补了这一缺口。我非常感谢你们的支持,并将在接下来的一年为更多的员工增长做出相应的计划。

如我们在筹款后更新在美国,我们的资金仍然相当有限。12月/ 1月188betapp 将对我们2017-2018年的招聘计划和战略产生特别大的影响,因为我们试图评估我们的未来前景。有关MIRI作为今年冬天的好去处的一些外部支持,请参阅丹尼尔·杜威,尼克·贝克斯特德,欧文·科顿·巴拉特,和本·霍斯金


我们的2016年筹款活动正在进行中!与过去几年不同的是,我们在2016年将只举办一次募捐活动,从9月16日到10月31日。我们目前的进展(实时更新):

2016筹款进度条

雇主匹配和今年晚些时候的承诺也计入总数。188betapp 去了解更多。


MIRI是一个非盈利的研究组织,总部位于金宝博娱乐加州伯克利。我们在数学和计算机科学领域进行基础研究,旨在确保比人类智能系统更聪明的人工智能系统对世界产生积极影响。金宝博官方

2016年对MIRI和更广泛的人工智能比对研究领域来说都是重要的一年。金宝博娱乐我们的2016年战略更新在八月初审查了最近的事态发展:

  • 由谷歌Brain的Ch金宝博娱乐ris Olah和OpenAI的Dario Amodei领导的研究小组发表了"在AI安全的具体问题“一套新的研究方向,可能对近期和金宝博娱乐长期的安全问题都有影响。
  • 迪伦·哈德菲尔德·梅内尔、安卡·德拉根、彼特·阿比勒和斯图尔特·拉塞尔发表了一个新的价值学习框架合作逆强化学习”,影响对于可更正性
  • 谷歌DeepMind的Laurent Orseau和人类未来研究所的Stuart Armstrong得到了积极的关注新闻媒体字母表执行主席埃里克•施密特他们的新论文“安全可中断代理“部分由MIRI支持。
  • MIRI进行了为期三周的人工智能安全和健壮性测试座谈会和研讨会系列,演讲者包括斯图尔特·罗素、汤姆·迪特里奇、弗朗西斯卡·罗西和巴特·塞尔曼。
  • 我们收到了30万美元的慷慨捐赠,并扩大了我们的研究和运营团队。金宝博娱乐
  • 我们开始制定新的研究议程金宝博娱乐对齐先进的机器学习系统金宝博官方“这项议程将占用我们未来一半的时间,另一半则集中在代理基金会议程

我们还发表了决策理论和逻辑不确定性的新成果,包括参数有界Léb定理与有界代理的鲁棒合作”和“真实感问题的一种形式解决方案有关我们去年的研究进展和其他更新的调查,请参阅金宝博娱乐我们的2015年评审

在过去的三个星期里,又有三个主要的事态发展:

  • 我们发表了一篇新论文,”逻辑归纳“描述了一种学习将合理的概率分配给数学猜想和计算事实的方法,其方式超过了演绎。
  • 开放式慈善项目向MIRI提供一年50万美元的资助以扩大我们的研究计划,以更新的明金宝博娱乐年强的机会。
  • 公开慈善项目是配套推出新的加州大学伯克利分校人类兼容AI中心拉塞尔(Stuart Russell)领导的。

事情已经快速移动在过去9个月。如果我们能够复制去年的成功筹款,我们会在一个很好的位置向前推进我们的计划,以扩大我们的团队,扩展我们的研究活动。金宝博娱乐

战略格局

在改变我们的环境以适应我们的喜好方面,人类比其他物种要好得多。这主要不是因为我们的力量或速度,而是因为我们情报从广义上讲,就是我们推理、计划、积累科学知识和发明新技术的能力。人工智能似乎有可能对世界产生独特的巨大影响,因为它有可能实现这些能力的自动化,并最终实现自动化果断地超越人类在相关的认知指标上。

与构建智能计算机系统的任务不同的是,确保这些系统与我们的价值观相一致。校准一个人工智能系统需要克服一些严重的技术金宝博官方挑战,其中大多数迄今为止得到的学术关注相对较少。从我们的角度来看,MIRI作为一个非营利组织在这个领域的作用是帮助解决部分问题不合身为主流行业和学术团体。

我们的长期计划是在人工智能领域未来的发展而定。由于这些发展是高度不确定的,我们目前主要关注的工作,我们期望能够在各种可能发生的情况是有用的。我们认为较为乐观的情形往往是这个样子:

  • 短期内,一个研究团体联合起来,在原则上形成金宝博娱乐对相关问题的良好理解,并产生正式的工具来解决这些问题。人工智能的研究人员在最佳实践上达成了最低限度的共识,使人工智能的长期社会影响的讨论正常化,具有风险意识安全的心态,并负责误差公差和数值规范。
  • 从中期来看,研究者建立在这些基础上,开发金宝博娱乐更成熟的认识。随着我们对比人类更聪明的人工智能系统可能会是什么样子有了更清晰的认识——更接近于一个可信的路线图——我们想象研究社区会朝着加强协金宝博官方调和合作以阻止种族动态的方向发展。金宝博娱乐
  • 从长远来看,我们希望看到AI-授权项目(如由杜威[2015])用来避免重大的AI灾难。出于这个目的,我们想要解决有限的人工智能系统对齐问题的一个弱版本——这些系统刚好有足够的能力作为有效的杠杆来防止人工智能事故和滥用。金宝博官方
  • 非常长远来看,我们希望可以解决“满”对齐问题的干练,高度自治的AI系统。金宝博官方理想情况下,我们想要达到的位置,我们可以等待,直到我们达到科学和机构成熟度 - 把我们的时间,每点和每一个交叉t型在我们冒险“锁定”设计选择之前。

以上只是一个模糊的草图,我们会优先考虑那些我们认为在不那么乐观的情况下有用的研究。金宝博娱乐此外,这里的“短期”和“长期”是相对的,不同的时间预测可能会产生非常不同的政策影响。尽管如此,这幅草图可能有助于阐明我们希望看到研究团体前进的方向。金宝博娱乐

欲了解更多关于我们的研究重点和方金宝博娱乐法,请参阅我们的金宝博娱乐 美里的方法

我们的组织计划

我们目前雇佣了七名技术研究人员(六名研究人员和一名助理研究人员),外加两金宝博娱乐名签约在未来几个月加入的研究人员,以及另外六名研究助理和研究实习生。1我们今年的预算约为175万美元,高于2015年的165万美元和2014年的95万美元。2

我们的最终目标(可能会修订)是增加到13至17名技术研究人员,届时我们的预算可能在3至4百万美元之间。金宝博娱乐如果我们能成功地达到这一水平,同时维持两年的运营,我们就有可能摆脱增长模式。

我们对2017年的预算估计大约是200万到220万美元,这意味着我们进入这个筹资阶段还有大约14个月的时间。我们不确定在11月到明年9月之间会收到多少捐款,3.但从目前的趋势来看,我们预计大约四分之五的捐款来自募捐活动,五分之一来自非募捐活动。4基于此,我们有以下筹款目标:


基本目标——75万美元。我们对自己在这个资金水平上执行增长计划的能力感到满意。我们将能够轻松地前进,尽管要比达到更高的目标更加谨慎。


增长目标——100万美元。这将相当于大约半年的跑道。在这个水平上,我们有能力在增长计划中进行更不确定但价值更高的押注。如果我们的招聘人数超过预期,那么到2017年,我们就有可能会跌到一年的低谷,但捐赠人越来越多的支持会让我们对承担这样的风险感到放心。


拉伸目标 - $ 1,250,000。在这个层面上,即使我们超出我的预期增长,我们就能够在不蘸低于去年的跑道真正的风险增加。过去$ 1.25M,我们不希望额外捐款多少影响我们2017年的计划,假设中等关闭募捐支持。5


如果我们达到了增长和扩展目标,我们将能够更有信心地执行我们正在考虑的几个附加程序。这包括与更多的研究人员签约,以便在逻辑归纳和机器学习议程上与我们进行早期合作,并且通常将更多的时间花在学术拓展、领域拓展、培训或试用潜在的合作者和雇员上。金宝博娱乐

和往常一样,如果你对我们即将到来的计划和最近的活动有任何疑问,欢迎与我们联系。我非常期待看到不断壮大的联盟研究社区在来年将会达到新的里程碑,我非常感谢那些帮助我们达到这一目标的深思熟虑的参与和支持。金宝博娱乐

188betapp


  1. 这就排除了Katja Grace,她领导的AI影响项目使用一个单独的专用于战略/预测研究的资金池。金宝博娱乐这也把我排除在外:我对我们的技术研究有贡献,但我的主要角色是行政管理。金宝博娱乐
  2. 我们预计将略低于18.25万美元的预算先前预测的在2016年,由于今年承担的新研究人员少于预期。金宝博娱乐
  3. 我们设想在未来几年,可能在9月份,继续每年举办一次募捐活动。
  4. 另外,开放式慈善项目可能会更新我们500000美元的赠款明年,我们将收到未来生命研究所(Future of Life Institute)的最后一期(8万美元)贷款三年期补助金

    相比之下,我们2015年的收入约为160万美元:16.7万美元的赠款、96万美元的募捐捐款和46.7万美元的非募捐(非赠款)捐款。然而,我们在2015年的情况有所不同:我们举办了两次2015年的募捐活动,而今年我们将跳过冬季募捐活动,建议12月份的捐赠者提前认捐或发放募捐活动。

  5. 在更高的资金水平上,我们会考虑运行其他有用的项目,比如奖励基金。向我开枪电子邮件如果你想谈谈细节的话。