2020 年了,深度学习接下来到底该怎么走?

智能家居 2020-02-14 10:30131未知admin

在过去的一年,深度学习技术在各个领域一如既往地取得了不少进展。然而当前深度学习技术(本文中称为深度学习1.0)仍然存在着一些明显的局限,例如在解决有意识任务方面的不足。那么针对这些局限性,在未来的一年,有哪些可能的解决方案?深度学习又会在哪些方面带来有希望的突破?

机器学习资深从业者 Ajit Rajasekharan 在本文中汇集了深度学习领域各路大佬的想法,并分享了他本人的一些思考。

这幅图总结了最近Yoshua Bengio,Yann LeCun和Leon Bottou 教授在NeurIPS 2019上的演讲

尽管深度学习模型在2019年继续不断刷新记录,在一系列任务,尤其是自然语言处理任务上取得了当前最优的结果,2019年不仅是对“深度学习1.0之后又是什么?”这一问题的测验跨入公众视野的一年,也是学术界对此问题的研究加快步伐的一年。

一、深度学习1.0 的局限性

深度学习1.0(如上图,Bengio教授将其称为“深度学习系统 1”)已经成功地解决了人们可以在直观上(通常以快速无意识、非语言的方式)解决的任务,比方说,直觉感觉到游戏中采取一种特定的行动是好的,或者感知到一张图片中有一只狗,这些我们可以在不到一秒钟的时间内快速完成任务以及我们惯常解决的任务,都属于此类。

DL 1.0 模型在某些任务的基准测试中具有超越人类的性能,但即使在这些任务中,也存在一些已知的缺陷:

1、与人类相比,DL 1.0 模型需要大量的训练数据或时间。例如,一个模型须经过等效于200年的实时训练,才能掌握策略游戏StarCraft II。而人类则可以在平均20小时内学会驾驶且不易发生事故。

目前为止,尽管消耗比人类多几个数量级的训练数据和时长,我们还没有训练出可以完全自动驾驶的汽车。而且对于很多任务,模型还需要从人类标记的数据中学习概念。

图片来自Yann Lecun最近的演讲《基于能量的自监督学习》。 在某些游戏中需要大量增加模型训练时间才能达到或超过专业人类玩家的水平。

2、DL 1.0 模型会犯人类通常不会犯的错误。 例如,更改图像的少量像素(我们的眼睛甚至不会注意到)可能导致模型的分类错误。例如人站在电话旁,可能使模型误认为该人正在打电话。

这些错误似乎源于多种原因:(1)模型在某些情况下做出了虚假关联;(2)输入数据存在偏差,导致模型输出受到污染;(3)模型对分布变化的鲁棒性不足,在某些情况下,无法处理训练分布中的罕见情况。

DL 1.0模型会犯的不同类型错误。 (a)在左上方的图中,人类甚至无法察觉的噪声注入会导致模型分类错误。来自2015年论文的对抗样本图片。 (b)右图中的错误则是因为模型大部分时间都暴露在电话亭附近的人类拨打电话的场景下,这是由于训练数据集的选择偏见所致。图片源自Leon Bottou在2019年10月关于“用因果不变性学习表示”的演讲(c)经常观察到的一类错误是模型无法将训练数据分布泛化到此分布外数据,比方说,训练分布中的罕见事件。下面的图是黑天鹅效应的一个具体例子:不太可能发生,但一旦发生则会造成严重后果,比如一辆自动驾驶汽车,暴露于(尽管从训练数据分布的角度来看不太可能发生的)罕见事件中。图片源自 Yoshua Bengio在 NeurIPS 2019 上的演讲

眼爆科技 Copyright © 2002-2017 深圳眼爆智能科技有限公司 版权所有 备案号:* 本站资源来自互联网,我们转载的目的是用于学习交流与讨论,如果您认为我们的转载侵犯了您的权益,请与我们联系(Email:gm@ybbtb.com),我们将在3个工作日内删除相关内容。

邮箱地址:gm@ybbtb.com