亚马逊已经开始将AI从Alexa的云转移到自己的芯片

借助其定制的Inferentia芯片，Amazon的云计算服务部门AmazonWebService减少了对以前使用的NVIDIA图形处理器的依赖。亚马逊周四表示，它已将大部分处理工作从其个人助理Alexa转移到了自己定制设计的专用集成电路芯片上，目的是使所有工作更快，更便宜，然后改善计算机的性能。语音助手。

亚马逊开发人员SebastienStormacq在博客文章中写道，将AWSInferentia用于某些Alexa技能可将延迟时间缩短25％，成本估计便宜30％。

今天，我们宣布，AmazonAlexa团队已将其基于GPU的机器学习推理工作量的绝大部分迁移到了AmazonElasticComputeCloudInf1实例，该实例由AWSInferentia。与Alexa文本到语音工作负载的基于GPU的实例相比，这导致端到端延迟降低了25％，成本降低了30％。减少的延迟使Alexa工程师可以通过更复杂的算法进行创新，并为我们的客户改善Alexa的整体体验。

Stormacq对Inferentia的硬件设计进行了如下描述：AWSInferentia是由AWS构建的定制芯片，用于加速机器学习推理工作负载并优化其成本。每个AWSInferentia芯片均包含四个NeuronCore。每个NeuronCore都实现了一个高性能的脉动矩阵乘法引擎，该引擎大大加快了典型的深度学习操作的速度，例如卷积和转换器。NeuronCores还配备了大容量的片上缓存，从而减少了对外部存储器的访问，从而显着减少了延迟并提高了吞吐量。

Alexa是亚马逊基于云的语音服务，可为AmazonEcho设备和超过14万种型号的智能扬声器，灯光，插座，电视和摄像机提供动力。据该公司称，今天，客户每天将超过1亿台设备连接到Alexa。但是，如果将这些设备安装在办公室或家庭中，那么Alexa的大脑就会部署在AWS上，这样，当拥有Echo或Echo点的人使用私人助手Alexa时，处理是在设备本身上执行的。

主要基于人工智能的Alexa请求的工作负载

当诸如Amazon的Echo系列智能扬声器之类的设备的用户向语音助手询问问题时，该设备会使用其自身的机载处理程序来检测唤醒词，然后发送请求。到亚马逊数据中心。然后，Echo将请求发送回Amazon的一个数据中心，以执行多个处理步骤。当Amazon的计算机确定响应时，该响应为文本形式，必须将其翻译成语音助手的可听语言。

在将请求发送到数据中心后，这些计算步骤始终得到签名Nvidia的GPU的支持，该GPU精确定义了其人工智能策略通过调整其图形芯片以适应模型训练或推理所需的计算类型。GPU专门从事并行计算，在执行这些任务方面比CPU效率高得多，因此很快被采用。

但是现在Alexa将使用Amazon开发的第一款芯片AWSAWSInferencia，该芯片专门用于加速深度学习计算。亚马逊回忆说：AWSInferentia旨在在云中提供较高的推理性能，降低推理的总成本，并允许开发人员轻松地将机器学习与其业务应用程序的功能集成在一起。在他的博客文章中。由于这些芯片是专为这些任务而设计的，因此在完成任务时，它们甚至比GPU更为高效。

于2018年首次宣布，亚马逊的芯片是定制设计的，可加快大量机器学习任务的速度，例如文本到语音翻译或图像识别。诸如亚马逊，微软和AlpahbetInc.的Google之类的云计算客户已经成为计算机芯片的最大买家，从而导致英特尔，英伟达等公司与数据中心相关的销售激增。

但是，渴望减少对两家行业巨头Nvidia和Intel的依赖的大型科技公司，正越来越多地放弃传统的芯片厂商来设计自己的定制芯片。苹果本周推出了首批三台Mac电脑，真是令人惊讶和激动。也许这最终将滴入常规的PC和其他设备中。