情感口述

科学开放与风险管理如何兼得?牛津大学研究员谈安全可靠AI

作者:本站 | 分类:情感说说| 浏览:154

科学开放与风险管理如何兼得?牛津大学研究员谈安全可靠AI

  “(AI)应是安全可靠的,而安全则包括算法漏洞、应用层面及使用等多方面的风险。

”牛津大学人类未来研究所人工智能治理中心(CenterfortheGovernanceofAI)政策研究员谢旻希,在日前于深圳举办的第十一届国际青年能源与气候变化峰会间隙,澎湃新闻记者的专访时表示。 AI在人们生活中应用得越来越广泛,技术更新迭代更快,AI如何安全可靠地发展,亦是技术发展中社会关注的一大问题。

  谢旻希是PartnershiponAI的高级顾问,负责中国事务和国际合作;曾为硅谷“钢铁侠”(ElonMusk)创立的AI研究机构OpenAI的多个项目做过政策咨询,也是OpenAI纲领中文版的撰写人。

  据了解,AI政策主要分为短期政策和长期政策。 短期的AI政策侧重于当前社会需要解决的问题,包括无人驾驶汽车的责任问题、相对小规模的下岗问题、算法偏差以及数据和个人隐私问题。

  长期AI政策则侧重于在未来的AI愈发先进的情况下,出现影响整体甚至更大程度的问题,尤其当AI快速发展的时候。

这将产生非常持久的后果,比如强大的AI决策系统可能带来风险或与不稳定性,特别是用在安全关键基础设施,包括电网和核能设施等。

  谢旻希告诉记者,目前牛津人类未来研究所对AI的安全性主要考虑三个方面,事故风险(Risksfromaccidents),结构性风险(Structuralrisks),和滥用风险(Risksfrommisuse)。   谢旻希提到,OpenAI曾设计过一个的系统,让一条船经过不同的路径,然后达到目标。

但在训练的过程中,这条船一直在拐弯,拐几十次,从没有达到过目标,谢旻希解释,这是因为AI发现,在拐弯的过程中也可以得到分数,多次拐弯后的分数也许比达到目标获得的分数更高,也就是AI找到了游戏设计上的漏洞。

  设想一下把这样一个强化学习系统放到真实的世界中,比如用在自动驾驶上,放到城市里运行。 自动驾驶系统在发现一些漏洞后,就会背离设计者原来的设计初衷。

而本来只是在游戏里的设计,就将成为城市设计的一部分,可能会造成很大的意外风险。   结构性风险也是AI技术发展落地需要考虑的问题。 具体来说,就是随着外部影响因素的增多,AI的安全使用是否与我们现在的社会规则有所。 大部分问题在设计考虑时可能过于理想化,而未有效考虑应用层面上的问题。 谢旻希举了个例子,2017年美国Uber的无人驾驶发生过一次意外事故,一开始大家只是觉得这款视觉系统还不够好,以至于没有侦测到行进的路人。

但此后的调查结果显示,这款系统足够好,并且在事故发生前有足够的时间看到路人并让车停下来。 但人为把这一系统关闭了。

  谢旻希告诉记者,设计时为了安全,这一系统非常敏感,因而可能会经常触发而使得车辆停下来,这就会导致Uber的运行效率更低,这样的投入后,相比于其他竞争对手而言就不够有竞争力。 “人们很容易不选择安全,而是选择更多的盈利、更多的竞争优势。 ”  因为安全而导致的负外部性(Externality),没有在AI落地的中被考虑。 另一方面,即便人们有足够的信息,能够预想到之后的问题,也不会有很多行动,因为对他们来说个人利益和为这一“潜在问题”付出的是非常不均衡的,谢旻希说,在这一问题上最经典的就是气候变化——每个人都可以预想到后果,但落实到个人时,每个人都会觉得自己生活方式的改变过于微不足道,因此失去了做出改变的动力。

  “此外,就算我们可以把这些的系统做到鲁棒性(Robust)很强,就算把机器学习系统做得非常稳定安全,仍然无法避免人类对这些智能的恶意使用。 ”谢旻希表示,OpenAI在大概15个月前做了一款GPT-2语言学习模型,可以“续写”人类创作的文章和诗歌。

但随后OpenAI表示,这样的系统亦可能被拿去生成大量的假新闻(fakenews)和垃圾邮件。 基于对恶意使用的风险的担忧,OpenAI做了一件不那么“开放(open)”的事情,即不将GPT-2的整个模型和相关的公开,而只是把一个比较小的模型开放给使用。   当直接把科学开放给社会的价值,与风险管理有直接冲突的时候,必须要考虑如何去解决这一问题。

谢旻希进一步提到,OpenAI目前没有完全开放这一模型,但不代表其他的机构或研究出来后不会去开放,因此AI的全球协作显得更为重要,需要更好的协调,当一个单位发现问题的时候,如何进行对外,如何在行业中做决定,要进行一个怎么样的分布。 “不过大家认可的是,我们做的任何重大决定,最好是在整个AI和机器学习研究的社区达到共识,全球性的共识。

”  实际上,在共识方面,全球AI社区在过去两年为AI安全可靠地发展也做出了不少努力。

2017年初《艾斯罗马人工智能23定律》正式发布(。 Principles),包括马斯克和著名物理学家史蒂芬·霍金(StephenHawking)在内的892名人工智能或研究人员以及1445名专家在这份定律上签字,以期AI技术的发展符合道德标准。

上一篇:2020考研数学:只刷题是大忌,总结才是王道!    下一篇:没有了
最近更新
精彩推荐
友情链接