来源：数据猿 编译：阎志涛

对于未来的预测经常是错误的，不过多看看不同的人对未来的想法无疑是有价值的。人工智能发展到现在已经在很多领域证明了自己。不过目前的人工智能还远远达不到我们期望中的状态。

下一个目标无疑是人工智能有了更好的感知能力，能够利用记忆、迁移学习以及持续学习能力来处理复杂的情况，这样的人工智能可能才逐渐的向通用智能方面发展。

图片来自：Towards Data Science

以下是正文：

以下这些是我关于深度神经网络以及机器学习在更广泛的人工智能领域如何发展的看法，以及我们如何能够获得越来越复杂的机器以改善我们的日常生活。

需要注意的是，这些并不是对于未来的预测，而是对这些领域的发展轨迹、趋势以及技术需求进行更详细的分析，从而使得我们能够获得有用的人工智能。

并不是所有的机器学习都是针对人工智能的，还有一些低成就的成功，我们也会一并进行介绍。

1 目标

这个领域的目标是实现达到或者超过人类的机器，从而能够在我们的日常的生活中帮助我们。自动驾驶车辆、智能家居、人造助手以及安全的摄像头是第一个目标。

家庭烹饪和清洁机器人以及无人机和机器人是第二个目标。另外一个是移动设备上的智能助手。还有就是能够听到或者看到我们日常生活的全职智能陪伴助理。终极的目标是一个完全自主的综合体，在人类的日常任务中，能够达到或者超过人类。

2 软件

在这里软件被定义为通过优化算法进行训练的能够解决一个特定任务的神经网络架构。

在今天，神经网络已经变成了从大规模的数据集上进行监督学习来分类事实的工具。但这并不是人工智能，因为在真实的世界中经常需要从没有经历过的经验中无监督的学习，这需要能够结合不同的环境中得来的知识去解决面临的新的问题。

2.1 神经网络架构

几年前，当这个领域蓬勃发展时，我们经常说它具备从数据中自动学习算法参数的能力，并且优于人的手工的特征工程。但是我们有意识地忘掉了一个小细节：在训练的基础上去解决一个任务的神经网络架构并不是从数据中学得的，实际上它仍旧是由人来设计的。

图片来自：The Asimov Institute

从经验中手工设计仍旧是这个领域的最主要的局限之一。神经网络架构是学习算法基础的核心。尽管我们的学习算法能够掌握新的任务，如果神经网络不正确，它们仍旧不能正常的工作。

从数据中学习神经网络架构的问题在于，在一个大规模数据集上尝试多个架构花费的时间太长。一个人不得不从头到尾尝试训练多个架构去看看哪个表现得最好。这正是我们今天最为耗时的试错过程。我们需要在这个问题上投入更多的人的脑力去解决这个重要的问题。

2.2 无监督学习

图片来自：Iterative Path

我们不能总是在那里指导神经网络如何去做，不能总是在帮助它们纠正每一个错误，对它们的性能提供反馈，我们有自己的生活要去过。但这就是我们今天对于有监督的神经网络需要做的：对于每一个实例，我们都要去帮助它使得它能够正确的工作。相反，人类会从一些例子中去学习，然后能够以一种持续的方式自我修正和学习更复杂的数据。

2.3 预测神经网络

当前的神经网络的一个主要的局限就是它不具备我们人类大脑的一个重要特性：它们的预测能力。

关于人类大脑如何工作的一个主要的理论是不断的做出预测：预测编码。如果你仔细想一下，我们每天都会体验到它。当你提起一个你认为很轻但是实际上很重的物体时，你会感到吃惊。因为当你准备提起它时，你已经预测了它将会如何影响你和你的身体，以及对周边环境的影响。

预测不仅仅帮助理解世界，而且还能够帮助我们知道什么时候不需要、什么时候需要学习。

实际上，我们保存关于我们不知道的或者让我们感到吃惊的事情的信息，这样下次遇到的时候我们就不会感到吃惊。

认知能力显然与我们大脑中的注意力机制有关系：我们具备先天的能力能够去忘掉 99.9% 的感官输入，而仅仅聚焦于对于我们的生存至关重要的数据：威胁在那里以及我们跑到哪里能够避开它。或者，在当今的社会，当我们急着要出门时我们的手机在哪里。

构建预测神经网络是与真实世界交互以及在复杂的环境中能够进行运转的核心，因此这是任何强化学习网络的核心网络。我们已经广泛讨论了预测神经网络这个话题，并且是研究和创建它们的先锋组织之一。

2.4 当前的神经网络的局限

我们前面已经讨论了今天的神经网络的局限，不能够预测、基于内容的推理以及不稳定性，因此我们需要一种新型的神经网络。

神经网络胶囊是解决当前的神经网络局限的一种方法。在这里我们认为胶囊需要扩充一些新的特性：

对视频帧的操作

这非常简单，我们需要做的是让胶囊路由查看最近播放过的多个数据点。这相当于对最近的重要数据点上的联想记忆。

需要注意的是它不是最近帧的最近的表达，而是最近的帧的最不同点的表达。不同内容的不同点表达可以通过仅仅保存与预定义值不同的表达来获得。这个重要的细节可以保存最近的历史相关信息，而不是一系列相关的数据点的无用的信息。

预测神经网络能力

这已经是动态路由的一部分，从而强迫每一层都去预测下一层的表达。这是一个非常强大的自学习技术，在我们看来，它比我们社区所开发的所有的其他类型的无监督学习都更有效果。胶囊现在需要能够预测长时间的时空关系，但是现在这个能力还没有被实现。

2.5 持续学习

这一点很重要，因为神经网络需要不断学习新的数据点。目前的神经网络每一次都只能够重新训练才能够学习新的数据。神经网络需要能够自我评估哪些是它们已经知道的以及哪些需要重新训练。

图片来自：blog.ryan-jenkins.com/

这也是现实生活中的增强学习任务所需要的，这样我们就能教机器学习新的任务而不会忘记旧的任务。

2.6 迁移学习

或者我们如何能够让这些算法通过观看视频自己学习，就像我们想要学习如何做一道新菜一样。这个能力需要我们前面列出的所有的组件，并且对于增强学习非常重要。现在你只需要给机器一个例子，就可以训练你的机器来做你想要它做的事情，就像我们人类一样。

2.7 增强学习

这是深度神经网络研究的圣杯：教给机器如何在一个真实世界的环境中去学会行动。这需要自我学习、持续学习、预测能力以及很多我们不知道的东西。在增强学习领域还有很多的工作要去做，但是对于作者来讲，他仅仅是了解了这个问题的皮毛，距离解决它还有很多的路要走。

强化学习通常被称为“蛋糕上的草莓”，这意味着它仅仅是一个塑料综合大脑上的小型训练。那我们如何能够得到一个能够轻松解决所有问题的“通用”的大脑呢？ 这是一个先有鸡还是先有蛋的问题。今天为了一个一个解决增强学习的问题，我们使用标准的神经网络：

一个深度神经网络，它接受大量的输入数据，例如视频或者音频，然后将它们压缩为表达

一个序列学习神经网络，例如 RNN，去学习任务

这两个是解决这个问题的显而易见的解决方案，然而明显的是错误的。但这正是每个人现在都在使用的，因为它们是目前可用的组件。结果却不令人满意。的确我们可以从头学会玩视频游戏，并且掌握象棋或者围棋这类完全可以观察的游戏。但是不需要我告诉你这些远远不能够解决现实世界的复杂问题。

想象一下一个 AI 可以比人玩 Horizon Zero Dawn 玩得更好，我非常想看到这个发生。

这正是我们想要的，机器可以和我们人类一样进行操作。我们在这里详细介绍了增强学习的工作和建议。它使用一个可以连续操作的预测神经网络以及一个关联存储器去存储当前的体验。

2.8 不会再存在循环神经网络

循环神经网络（RNN）已经出现了有一段时日了。RNN 在训练的并行化方面表现得非常不好，即使在特殊定制的机器上运行也非常慢，究其原因是它们非常高的内存带宽使用，因为它们受限于内存带宽而不是受限于计算能力。

基于注意力的神经网络训练和部署更高效也更快速，并且他们比较小地受到训练和部署的弹性影响。神经网络中的注意力有可能改变很多的的架构，但是现在它还没有得到应有的认可。将关联记忆和注意力结合在一起将会是下一波神经网络发展浪潮中的核心。

注意力神经网络已经能够像 RNN 一样学习序列，并且能够减少 100 倍的计算量！谁能够忽略这个大的进步？我们认识到基于注意力的神经网络将会慢慢在语音识别领域替换 RNN，并且会在增强学习架构和通用人工智能领域找到他们的位置。

3 硬件

图片来自：Rude Baguette

硬件是深度学习取得进步的核心，让我们忘掉深度学习在 2008-2012 年的快速扩张，近些年深度学习的迅速发展主要是因为硬件：

每个手机上廉价的图像传感器使得我们可以收集大量的数据集

GPU 可以加速深度神经网络的训练

在过去的 1-2 年，我们看到了机器学习硬件的爆发式的发展，尤其是针对深度神经网络。

有好几个公司在这个领域进行工作：NVIDIA、Intel、Google 等，它们都在开发定制化、高性能的能够训练和运行深度神经网络的芯片。

关键是提供能够运行最新最有用的神经网络操作同时能够提供最低等功率和最高的可衡量的性能。但是这个领域里很少有人能够理解硬件如何真正的改变机器学习、神经网络以及人工智能。很少有人理解芯片的重要性以及如何去开发它们。

以下是我们的列表：

训练还是推理  

很多公司在创造能够进行神经网络训练的芯片，其目的是抢占 NVIDIA 的一部分市场，NVIDIA 是神经网络训练硬件的事实上的标准。

但是训练仅仅是深度神经网络应用和世界中的一小部分。对于任何一个训练步骤，在真实世界中都有实际应用的上百万次的部署。例如你可以在云上使用一个目标检测神经网络：它被在很多图片上训练一次，但是一旦训练完成，它将会被上百万台计算机在数十亿的数据上去运行。

我们在这里试图说明的是：训练硬件的重要性就像将你的训练次数与你真正使用的次数进行比较一样。而且一个训练所用的硬件需要额外的硬件和软件技巧。

这意味这对于相同的性能需要更高的功率，因此不适合进行当前的生产部署。训练硬件重要，但是相比于一个容易修改的推理硬件，它并不是很多人想象的那么重要了。

应用

能够提供用更少的能源来进行更快的训练的在这个领域非常重要，因为它能够使得我们更快地创建和测试新的模型。但是后边真正重要的一步是运行应用的硬件。

目前，还有很多的应用由于硬件效率的原因还没办法应用到实际当中，比如我们的手机可以是语音助手，它还远远的达不到理想的状态，因为我们不能一直打开它。我们的家庭助手都需要连接到供电设备上，因此不能随时的跟随我们在家里随意移动，除非我们周边有多个麦克风和设备。

可能最重要的应用是将手机屏幕从我们的生活中移走，然后嵌入到我们的视觉系统当中。没有超级有效的硬件，大部分的这些应用（小机器人）都会变得不可能。

赢家和输家

在硬件领域，赢家是单位能耗最低、并且能够最快进入市场的那些企业。想象一下在手机中取代 SoC，这每年都在发生。现在想象一下将神经网络加速器嵌入到内存当中，这可能能够更快地征服大部分的市场，并且具有非常明显的渗透率。这就是我们所说的赢家。

在前面，我们简要讨论了应用，但是我们需要详细的讨论一下 AI 和神经网络如何进入和影响我们的生活

如下是列表：

图像和视频分类

已经有很多云服务提供商在提供服务，未来会在更多的智能相机中提供。神经网络在未来将会越来越多地减少对云的依赖而在本地处理越来越多的数据：因为隐私和节省带宽而成为赢家。

语音助手

图片来自：Tech Crunch

他们正在成为我们生活中的一部分，因为他们在我们的“智能”家庭中播放音乐和控制基本设备。

对话是我们人类活动中基础的一个能力，因此我们经常认为它是理所当然的。与你正在对话的小型设备正在发生一场革命，语音助手在服务我们时变得越来越好。

但是他们仍旧需要连接电源。我们需要的真正的助手是能够跟随我们移动的，我们的手机合适吗？在这里硬件有一次获得了胜利，因为硬件的进步使得这个成为可能。

Alexa、Cortona 和 Siri 会一直在你的身边陪伴。你的手机很快就会成为你的智能家庭，这是智能手机的又一次胜利。我们也希望当我们在四处走动时，他们在我们的车里。

我们需要能够在本地处理声音，越来越少地依赖云，从而能够有更好的隐私保护以及降低带宽的开销，硬件进步将在 1-2 年内把这些提供给我们。

真正人工助手

图片来自：Boston Web Marketing

能够识别语音真的很棒，但是我们真正需要的是能够看到我们看到的，当我们移动时能够随时分析我们周围环境的助手。这是我们真正会爱上的智能助手。

神经网络硬件能够满足你的这个愿望，因为分析视频流非常耗费计算能力，而且已经达到了现在硅基硬件的理论极限。换句话说，这个的实现要比语音助手困难的多。

但是这并不是不可能的，许多智能初创公司，比如 AiPoly 已经有了所有的相关的软件，但是缺乏能够支撑在手机上运行的强有力的硬件。还要注意的是，利用可穿戴眼镜之类的设备替换手机屏幕将会使得智能助手真正成为我们生活的一部分。

烹饪机器人

图片来自：How Cool Brands Stay Hot

下一个伟大的设备将会是一个做饭以及清洁的机器人，我们很快可能就会有相关的硬件，但是我们缺乏对应的软件。我们需要迁移学习、持续学习以及增强学习。

所有的工作看起来都非常有魅力，因为你会看到：每一个配方都是不同的，每一个烹饪的原材料都看起来是不一样的，我们不可能硬编码这些选项，我们需要一个综合体来非常好的学习和总结从而能够完成相关的工作。

我们远没有达到这个地步，但也不是非常的遥不可及。按照目前的发展速度，可能需要几年的时间。勿容置疑，我会从事相关的工作，就像我过去几年已经在做的一样。

注：本文经由TalkingData数据学堂及阎志涛本人授权并投递数据猿发布，本文由阎志涛老师翻译自Towards Data Science的一篇文章，原文作者为 Eugenio Culurciello。