深度学习的重新思考克服了AI行业的主要障碍

发布时间: 2020-04-01 09:30:09 来源:

莱斯大学的计算机科学家通过证明无需专门的加速硬件(如图形处理单元(GPU))就可以加速深度学习技术,从而克服了新兴的人工智能行业的主要障碍。

赖斯的计算机科学家在英特尔合作者的支持下,今天将在奥斯丁会议中心展示其研究结果,这是机器学习系统大会MLSys的一部分。

许多公司都在GPU和其他专用硬件上进行了大量投资,以实现深度学习,这是一种强大的人工智能形式,其背后是Alexa和Siri,面部识别,产品推荐系统和其他技术等数字助理。例如,业界黄金标准的Tesla V100 Tensor Core GPU的制造商Nvidia最近报告说,其第四季度收入与去年相比增长了41%。

赖斯研究人员创造了一种节省成本的替代GPU的方法,GPU是一种称为“亚线性深度学习引擎”(SLIDE)的算法,该算法使用通用中央处理器(CPU),而无需专门的加速硬件。

赖斯布朗工程学院的助理教授Anshumali Shrivastava说:“我们的测试表明,SLIDE是CPU上深度学习的第一个智能算法实现,可以在具有大型完全连接架构的行业规模推荐数据集上胜过GPU硬件加速。”与研究生Beidi Chen和Tharun Medini发明了SLIDE。

SLIDE不需要GPU,因为它采用了完全不同的深度学习方法。用于深度神经网络的标准“反向传播”训练技术需要矩阵乘法,这是GPU的理想工作量。借助SLIDE,Shrivastava,Chen和Medini将神经网络训练变成了搜索问题,可以用哈希表解决。

与反向传播训练相比,这从根本上减少了SLIDE的计算开销。Shrivastava说,例如,像Amazon,Google和其他公司提供的基于云的深度学习服务的顶级GPU平台有八台Tesla V100,价格约为100,000美元。

他说:“我们在实验室中有一个,在我们的测试案例中,我们采用了非常适合V100的工作负载,其中一个负载在大型,完全连接的网络(适合GPU内存)中具有超过1亿个参数,”“我们使用最好的(软件)软件包Google的TensorFlow对其进行了培训,培训时间为3 1/2小时。

“然后我们证明了我们的新算法可以在一小时内完成训练,而不是在GPU上,而是在44核Xeon级CPU上,” Shrivastava说。

深度学习网络受到生物学的启发,其核心功能人工神经元是可以学习执行特定任务的小型计算机代码。深度学习网络可以包含数百万甚至数十亿个人工神经元,并且它们可以通过简单地研究大量数据来共同学习,以做出人类层面的专家决策。例如,如果训练一个深层神经网络来识别照片中的物体,则它将使用与识别校车不同的神经元来识别猫的照片。

Medini说:“您无需在每种情况下都训练所有的神经元。”“我们认为,'如果我们只想选择相关的神经元,那就是搜索问题。'因此,从算法上讲,该想法是使用对位置敏感的哈希来摆脱矩阵乘法。”

散列是一种在1990年代为互联网搜索发明的数据索引方法。它使用数值方法将大量信息(例如整个网页或一本书的章节)编码为称为哈希的数字字符串。哈希表是可以非常快速地搜索的哈希列表。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如有侵权行为,请第一时间联系我们修改或删除,多谢。
Top