用“小AI”解决人工智能的“大”烦恼 去中心化或是未来趋势

人工智能在不断发展的同时，其背后算力的消耗也十分惊人。有统计显示，谷歌公司研发的伯特预训练语言模型，拥有3.4亿个数据参数，而训练它一次所需的电力足够一个美国家庭使用50天。

承载了人类未来大梦想、大可能和巨大挑战的人工智能，火了这么些年，取得了长足的发展，与之相辅相成的，是人工智能日益“庞大”的架构体系，诸如常以十亿计的计算单位，庞大的云计算数据中心……越来越“大”是人工智能的现实与未来吗?

近日《麻省理工科技评论》公布年度十大突破性技术排行榜，微型人工智能技术(TinyAI)位列其中。从大到小，难道是人工智能正在“返璞归真”的途中?

不可持续的“大”人工智能

我们都知道，随着研究人员不断给算法“喂养”大量数据，机器学习变得越来越聪明，但它们是否也变得更环保呢?答案是否定的。

不可否认，人工智能在过去几年中取得了许多突破。深度学习是许多人工智能系统实现高精度的突破之一。研究人员发现，虽然人工智能每一天都在变得更加精确，但同时也带来了隐藏的环境代价。

“当前人工智能携带着庞大的数据集被输入到云数据中心，然后由无穷无尽的算法进行分析。”威海北洋电气集团股份有限公司副总工程师秦志亮表示，数据上传到云中心的过程，以及通过复杂的算法结构和精巧的训练方式获得高精度的算法模型，不仅会产生惊人的碳排放量，而且限制了算法模型的运行与部署速度，同时带来很多隐私问题。

美国马萨诸塞大学阿默斯特分校研究人员的一项研究结论对秦志亮的说法提供了佐证。他们通过揭示算法训练的能量强度发现，训练一种算法产生的二氧化碳排放量相当于一辆普通汽车终生二氧化碳排放量的5倍，或者相当于飞机在纽约和旧金山之间大约300次的往返飞行。研究人员认为，在寻求人工智能高准确性的过程中，人们似乎失去了对能源效率的关注。

事实上，“大”人工智能也不适合离线和实时决策，比如自动驾驶解决方案，且日益依赖于巨大的能量、巨大的带宽，这种模式在经济和生态上同样具有不可持续性。

另外，更让研究人员担心的是，这一趋势还可能加速人工智能研究集中到少数科技巨头手中，在学术界或资源较少的国家，资源不足的实验室根本没有办法使用或开发计算成本昂贵的模型。

去中心化或是未来趋势

人工智能虽已融入大众生活，但最终的成功还要取决于“落地”，实现大规模商用，这应该是推动微型人工智能发展的直接原因。

“为了实现人类对人工智能远大的梦想，我们必须从小处着想，甚至很小。云数据主导的趋势正在转变，未来的人工智能环境将是去中心化的。”海南普适智能科技有限公司CEO陈啸翔说。

海南中智信信息技术有限公司总经理于建港认为，“这是一条与计算机发展相反的路径，计算机的发展经历了从个人终端，然后到互联网化、虚拟化的过程。而微型人工智能是先互联网化、虚拟化，再终端化。”

以伯特(Bert)为例。伯特是谷歌公司高级研发科学家雅各布·德夫林(JacobDevlin)和他的团队开发的预训练语言模型(PLM)，它可以理解单词和上下文，可以为写作提出建议或独立完成的句子。《麻省理工科技评论》报道中称，伯特拥有3.4亿个数据参数。此外，训练它一次所需的电力足够一个美国家庭使用50天。

华为研究人员则发表文章称，他们制作了微型伯特(TinyBert)模型，尺寸比伯特缩小7.5倍，速度还快了近10倍。来自谷歌的研究人员也发表文章说，他们已经造出了一个比伯特小了60多倍的版本，但其语言理解能力略差于华为的版本。

华为和谷歌他们是如何做到的?其实，这两家公司都使用了一种常见的压缩技术的变体，这种技术被称为“知识提取”，可以让想要缩小的大型人工智能模型去训练其图像中的小得多的模型，类似于老师训练学生。

我们可以这样理解，微型人工智能应是人工智能研究界为缩小算法规模所做的努力。这不仅是减少模型的大小，而且还加快推理速度，保持了高水平的准确性。此外，还可以在边缘部署小得多的算法，无需将数据发送到云，而是在设备上进行决策。

三个方面缩小现有模型

微小数据、微小硬件、新型材料、微小算法，微型人工智能是一种综合方法，涉及数据、硬件和算法的共同开发。

如何在不明显影响模型准确度的前提下，缩小现有的深度学习模型，秦志亮认为，可以从三个方面着手。一是硬件方面的边缘端计算，二是算法方面的模型简化，三是数据方面的小样本训练。

无论是新技术还是新理念，大众的关注点还是其在市场上的普及率，特别是产品量产与应用。

“微型人工智能具体落地场景包括语音助手、数字化妆等，涉及到即时场景理解，边缘端目标检测等技术;此外，微型人工智能也将使新的应用成为可能，比如基于移动端的医学影像分析，或对反应时间要求更快的自动驾驶模型的开发。”秦志亮说。

“现在微型算法一般在几百兆到几个G，完全可以装在到手机上。”于建港说，微型人工智能可以应用在所有需要前端控制的应用上，即使5G已加速覆盖了，网络时延降低，但是像工控、自动驾驶、航天等需要快速反应的应用，都需要本地部署人工智能算法。他认为，将来的业务形态应该是终端做出简单快速的反馈，服务器做出重大决策。

在2019年年底的安博会上，已有人工智能初创企业推出“TinyAI”，该公司将低功耗、小体积的NPU与MCU整合，适配市场上各种主流的2D/3D传感器，满足2D/3D图像、语音等识别需求的AI解决方案受到了业界的关注。此外，英伟达(NVIDIA)和华为等公司，也都陆续推出了终端型图形处理器，体型较小、功耗较低、功能可以满足简单的算法。

技术初期期待宽松发展环境

微型人工智能尚处于初期发展阶段，该领域的安全、伦理、隐私等问题也同样引起人们的关注。

秦志亮担心的问题有两个。一是算法歧视可能激增。他说，算法歧视之所以难以解决，归根结底在于算法的可解释性与训练数据的不均衡，相比于传统的云端训练，微型人工智能的训练数据集样本较少，数据的分布可能更加偏颇。另一个隐患是数据伪造的影响。GAN(GenerativeAdversarialNetwork)和深度伪造技术为代表的视频与图像技术一直是人工智能算法研究的热点。随着这些技术的普及，未来的用户端极有可能接收或产生大量的虚拟伪造数据。微型人工智能受限于计算力的制约，在分散式网络架构中，如何有效地甄别这些伪造数据，这很可能是一个隐患。

于建港则认为，微型人工智能会导致分布式人工智能的兴起，每个终端都成为一个AI节点，各自都能独立存活，出现类似区块链的应用。网络侧的控制力度将降低，政府的管控风险加大。不过，技术都是两面性的，于建港分析，虽然有这些风险，但是对人工智能的管控技术也在发展，应该相信微型人工智能的正面作用，不应该在技术初期就限定太多条条框框。(王祝华)