阿里达摩院出手,超越人类的AI会带给我们什么?

  • 2021-08-13

  • 来源:

来源丨腾讯新闻

自从2016年Alphago战胜李世石后,最近几年全球几乎所有技术公司,几乎都投入了AI的竞争之中。我们也很快在我们的日常生活中用上科技公司的AI智能音箱,接触到AI智能客服,用上AI的人脸识别。

同时,众多一流科技公司追求AI技术进步的脚步也从未停歇。2021年8月10日,阿里巴巴达摩院的AliceMind团队再次刷新全球最权威机器视觉问答榜单VQA(Visual Question Answering) ,并以81.03分的成绩让AI在“读图会意”上首次超越人类表现。

AI技术虽然发展很早,但是一度停滞了很多年,一直到新世纪深度神经网络复兴,应用到AlphaGo上击败手李世石,AI才开始重新进入快车道。

AI的机器视觉,是一个非常重要而且有实用性的分支,通过CNN卷积模型,AI在2015年实现了视觉分类超越人类。但是应用到真实世界,AI仅仅识别是不够的。

所以,全球计算机视觉顶会CVPR从2015年起连续6年举办VQA挑战赛,聚集微软、Facebook、斯坦福大学、阿里巴巴、百度等众多世界最强AI研究机构,形成了国际上规模最大、认可度最高的VQA数据集。对AI技术进行攻关。

VQA测试,是给定一些图片,然后用自然语言针对图片中的内容提出问题,让AI理解自然语言提出的问题,识别图片,然后正确回答。

我们看VQA的一道试题,给定下面这张玩具的图片。然后提出问题。

What are those toys there for?(这些玩具用在什么地方?)正确答案是Wedding(婚礼)。

这个问题,对人类来说似乎不太难,但是对AI来说非常大的挑战。

整个测试都是各种各样不同的图和各种各样不同的问题,2016年水平的AI,在进行VQA测试的时候,分数都是非常可怜,被讽刺为人工智障。

而经过多年的努力,2021年,阿里在这个测试中取得了非常好的成绩,这是与微软、Facebook、百度等一流公司,一流大学,一流研发机构竞争。阿里达摩院取得高分来之不易。

而且,这也是VQA测试以来,AI第一次超过人类水平,这是标志性的重大成就。

最近几年,AI的成果一直在转化,今天,我们用自然语言可以给阿里的智能音箱下命令,像要求仆人一样要求智能音箱控制我们中的联网家电。

这在短短十年前,都是科幻片的情况。而背后的技术仅仅是一个语音语义识别。

那么,这次阿里达摩院在VQA这个高难度领域突破,超越人类,又会给我们带来什么?

一、皇冠上的明珠

过去几年,人类在AI上有很多突破,这些突破主要都是单模的,也就是替代人类一种感官。譬如机器视觉用于人脸识别、物体识别。语音识别用于识别人类语音,判断语义。这都是依赖于深度神经网络的发展。

从DNN(深度神经网络)到RNN(循环神经网络),CNN(卷积神经网络),GAN(生成式对抗网络)。人类在最近10多年中取得了巨大进步。

我们用上了智能音箱,普及了基于AI技术的人脸识别,有了能够交谈的AI客服。

但是,VQA就不同了。VQA是为了解决真实世界复杂问题的。

VQA给你一幅图像,一个自然语言描述的问题,让你用自然语言回答。这个东西是多模的

首先,让AI明白VQA所提出问题就是一个高难度的任务。这个属于自然语言理解。

人类理解自然语言描述的一个问题,首先要懂语言,譬如一个英文问题,你先得懂英语才行。

要懂英语,你得学单词,被语法,了解固定搭配,知道句型。而AI要看懂也得有这个过程。

对VQA来说,并不是我们普通语言识别看懂就行了,而是要根据图了解VQA问题的意图。这个就难了。

人类除了看懂问题的词汇,理解句型,还要有一个人类的常识,要有人类的知识学习记忆,要联想记忆去理解问题。

对人工智能里说,要理解问题,也需要先认识词汇,然后理解意图,还需要搜索知识库明白问题问的是什么。还要结合影像识别的结果。

仅仅是正确了解VQA的问题意图,就是比普通语言识别更困难的任务。而这只是第一步。

就图像识别来说,目前人工智能技术已经比较成熟,毕竟2015年在这方面AI已经超过人类,现在已经有类似于产品检验机的东西都已经应用到生产之中了,单一物体人工智能识别是什么已经不太难。

但是对于VQA来说,所提出的问题并不是关于整张图片的,而是针对图片中某一个或者某几个物体的。

譬如,图片中有10个人,VQA所提出的问题只与一个人有关,AI要从10个中聚焦到问题相关的人,这就难了。

人工智能要根据对问题的理解,把把目标物体从复杂影像中聚焦出来,这是高难度。而这还是第二步。

因为,你正确理解问题意图,正确聚焦出来还不行,还得根据问题的意思回答,你能够聚焦出来一幅图的重点物体是衣服,但是要回答的问题是衣服的文字代表什么球队。

这样你还要做推理,看衣服上什么文字是和球队相关的,然后再搜索球队标识的数据回答。还需要一个推理的过程。

最后,你推理完毕了,还要通过GAN(生成式对抗网络)产生出自然语言的回答。这才算是完成任务。

我们现在日常用的AI识别,还属于感知级别的AI,譬如认个人脸,认个身份证,听懂语音。而VQA这个已经是认知了,是多种AI技术的综合,属于多模态,可以算AI技术皇冠上的明珠之一。

所以,一开始这类测试,尽管参加者都是世界一流的科技公司,大学,研发机构,但是得分都很低,在50分以下,后来一年年随着技术和算力的进步逐渐提升。

今天,阿里已经取得了80多分,超过人类认识的水平,这是非常不容易的。

二、达摩院的独门秘籍

如同我们前面说的,VQA挑战的核心难点在于,需在单模态精准理解的基础上,整合多模态的信息进行联合推理认知,最终实现跨模态理解。

这相当于人类通过多个认知途径获取信息,最后综合判断做出结论。

对于这个挑战,阿里达摩院的AliceMind团队,用整合方案对整合问题,对AI视觉-文本推理体系进行了系统性的设计,融合了大量算法创新,作出来一个整体的解决方案,具体包括四个方面:

一是先把尽可能的提升单模态理解的精度。主要是对图片识别的精确。阿里从多个方面刻画图片的局部和全局的语义信息,同时使用Region,Grid,Patch等视觉特征表示,更清楚的把图片上的东西都识别清楚了,这样可以更精准地进行单模态理解。相当于人类在识别物体的时候看得更清楚。为后续打基础。

二是做大量多模态预训练

阿里达摩院的AliceMind团队用大数据的海量图文数据和多粒度视觉特征做多模态预训练,用于更好地进行多模态信息融合和语义映射,发展出了SemVLP,Grid-VLP,E2E-VLP和Fusion-VLP等预训练模型。

这个相当于人类上学学基础知识,你有了基础知识,才能对看到的东西做个判断,古代人不认识汽车,现代人因为学过什么是汽车,所以看到汽车就知道这是汽车。计算机也得学习,多模态的预训练就是这个学习过程。学习的越多,识别的越准。

三是研发自适应的跨模态语义融合和对齐技术,创新性地在多模态预训练模型中加入Learning to Attend机制来进行跨模态信息地高效深度融合。就是说你不能看图全看,而是要逐渐聚焦到问题相关的东西上面。用这个去做多模态的预训练。

四是采用Mixture of Experts (MOE)技术进行知识驱动的多技能AI集成。因为VQA本身是多模态的,人工智能的神经网络当然不能用一个,也得多个一起来,A神经网络适合算A,就去算A。B神经网络适合算B,就去算B。把这些神经网络集成起来,取得最好的效果。

至于看懂问题,阿里达摩院前身IDST早在2018年就在斯坦福SQuAD挑战赛中历史性地让机器阅读理解首次超越人类,轰动全球。2021年阿里的深度语言模型体系AliceMind入选2021 世界人工智能大会最高奖 SAIL 奖 TOP30。VQA无非是把阿里的自然语言理解功力与图形识别再结合一下,万变不离其宗。

所以,阿里能获得这个成就不是一朝一夕之功,是阿里强大的技术实力多年积累的结果。阿里通过积累的强大技术实力,针对VQA挑战做系统性的解决方案。利用数据和算力资源,最终实现了超越人类的奇迹。

实力、创新性方案、资源,这是阿里达摩院的成功秘笈。

三、超越人类的AI会带给我们什么

最近几年,人类在AI上的每次突破,都会给我们的生活带来极大的便利。自动驾驶的突破虽然没有让无人驾驶普及,但是自动泊车,自动跟车,高速路自动巡航已经非常普及。

VQA这种多模态的AI应用属于高级技术,阿里在VQA上技术突破也很快落到了阿里的产品。

阿里达摩院的对话式AI已经在为淘宝天猫商家服务,已经提供百万级调用量的VQA看图问答能力,已经有数万家商家开通使用店小蜜客服VQA功能。

客户提出问题,阿里的AI技术能够理解客户的问题,直接从产品网页图像中截取相关内容展示给客户,解决客户的需求。相当于一个高效人工客服。

同时,阿里的VQA也已作为中台能力,拓展至盒马和考拉客服场景及闲鱼的图文同款匹配场景。用户可以通过VQA的技术,文字意图匹配到相关产品。

当然,这些VQA相关技术的应用仅仅是牛刀小试。

因为VQA其实并不是一张图片的识别那么简单。而是测试性的,未来真正的识别,不是图片而是现实世界的影像。而解决方案,也未必是语言回答,也可以是控制行动。VQA的技术成熟以后,我们可以通过自然语言,命令AI做事。

现在你的语音识别只能通过智能音箱控制家电。而未来,是我们给机器人下命令,机器人理解你的语言意图,然后扫描周边环境,找到符合你意图的东西,执行行动。

譬如,未来有一天,你对这机器人说,给我洗衣服。

机器人理解你的意图,然后识别房间内影像,聚焦到脏衣篮这个物体,移动到脏衣篮,然后聚焦到脏衣服这个物体,把脏衣服用机械手拿起来。

然后再聚焦到洗衣机这个物体,把衣服放进去。逻辑判断洗衣机如何操作,给你完成洗衣甩干烘干,最后拿出衣服,聚焦到你的衣柜,把衣服放进衣柜整理好。

整个过程的识别都需要VQA技术基础,这是VQA技术未来的应用。

这个技术成熟以后,就会有真正的AI时代,人类大量厌恶性工作可以让AI替代,人类聚焦精力于创造。这才是AI应该给我们的未来。

当然,这个过程是渐进的,阿里超越人类的AI技术会先从细微专用领域开始,慢慢替代。而阿里一方面会在这种替代中获得丰厚的经济回报,一方面也会不断迭代技术,提升水平,引领AI科技。

  • 新闻
  • IT/互联网
  • CIO
  • CDO
  • IT
  • 人工智能

推荐

我要评论