亚马逊宣布将人工智能处理迁移至其自定义的AWSInferentia芯片。这意味着，亚马逊最大的推理服务（例如语音助手Alexa）将由更快，更专业的芯片代替基于NVIDIA的多功能GPU进行处理。亚马逊已将大约80％的Alexa语音助手处理迁移到ElasticComputeCloud（EC2）Inf1实例进行处理。与使用传统GPU的G4实例相比，Inf1实例将吞吐量提高了30％，并将成本降低了45％。亚马逊认为，它们是推断自然语言和语音处理工作量的最佳示例。 Alexa的工作方式是这样的：实际的智能扬声器（或扬声器）什么也做不了，所有任务都由AWS处理器完成。更准确地说，一旦Echo设备上的芯片检测到唤醒字，系统便会启动。 。它开始实时将音频流传输到云。在数据中心的某个位置，音频会转换为文本（这是推理的示例）。然后从文本中提取含义（另一个推理示例）以完成所需的所有操作，例如获取当天的天气信息等。 Alexa完成您的请求后，她需要将答案传达给您。然后，脚本将转换为音频文件（另一个推论示例），并发送到您的Echo设备。 Echo播放文件，以便您在旅行时可以决定是否带雨伞。显然，推理是工作的重要组成部分。毫不奇怪，亚马逊投入了数百万美元来制造完美的推理芯片。 Inferentia芯片由四个NeuronCore组成。每个都实现“高性能脉动阵列矩阵乘法引擎”。每个NeuronCore或多或少地由大量的小数据处理单元（DPU）组成，这些单元以线性，独立的方式处理数据。每个Inferentia芯片还具有巨大的缓存，从而改善了延迟。