基于第四代英特尔 至强 可扩展处理器的海鑫智圣云边端一体化方案加速 AI 推理

得益于人工智能 (AI)、大数据等技术的应用，金融机构正在日趋智能化，不仅能够提升业务处理效率和金融安全性，同时为客户提供更加人性化的金融服务，让客户体会到金融服务的 “温度”。例如，通过 AI 系统对于客户的业务数据进行智能化分析，金融机构将能够清晰地洞察客户的偏好，让客户服务过程更加精准。但同时，海量数据的分析与AI 应用也将给基础设施带来巨大的压力。

(资料图片仅供参考)

北京海鑫智圣技术有限公司（以下简称：海鑫智圣）推出了集成 “海鑫智圣边缘计算终端+云端Cell推理引擎”的云边端一体化解决方案，并搭载了全新的第四代英特尔®至强® 可扩展处理器。借助内置的英特尔® 高级矩阵扩展（英特尔® AMX）加速引擎，第四代英特尔® 至强® 可扩展处理器能够帮助海鑫智圣进一步优化端到端推理性能，提升 AI 平台的整体算力和可扩展性，满足智慧金融在生物特征识别、智能 OCR 识别等领域的性能要求，加速智慧金融变革。

第四代英特尔® 至强® 可扩展处理器提升 AI 推理性能

“人工智能是智慧金融系统构建的核心技术支撑之一，通过采用第四代英特尔® 至强® 可扩展处理器，我们得以在保证推理精度的前提下，大幅提升生物特征识别等 AI 模型的推理速度。我们还将与英特尔进行持续合作，以云边端一体化的金融 AI 应用，推动智慧金融系统的进化，助力金融业务价值的升级。” 

孟凡军

海鑫智圣总经理

在使用第四代英特尔® 至强® 可扩展处理器进行推理并通过 OpenVINO™ 工具套件进行性能优化的场景中，海鑫智圣一体化解决方案能够支持金融机构获得强大的推理性能，同时增强基础设施调度的灵活性，降低 TCO。为了验证第四代英特尔® 至强® 可扩展处理器带来的推理性能提升，海鑫智圣与英特尔在生物特征识别应用中，进行了联合测试。测试系统配置如表 1 所示。 

首先，双方对比了在模型数据类型同为 FP32 时，生物特征识别模型在第三代/第四代英特尔® 至强® 可扩展处理器上的推理性能差异。测试结果如图 1 所示，第四代英特尔® 至强® 可扩展处理器获得了 1.58 倍的代际性能提升。

随后，双方在基于第四代英特尔® 至强® 可扩展处理器的平台上，采用英特尔® AMX 将模型从 FP32 转化为 BF16，并测试了两者的性能差异。测试数据如图 2 显示，优化后可以实现 4.55 倍的性能提升。

方案收益

显著的推理性能提升               

相较于第三代英特尔® 至强® 可扩展处理器，内置英特尔® AMX加速引擎的第四代英特尔®至强®可扩展处理器能够大幅提升推理性能，加快 AI 应用响应速度，降低性能压力。

较低的精度损失                     

测试数据显示，通过将数据类型从 FP32 转化为 BF16，英特尔® AMX 在大幅提升性能的同时，精度损失仅为0.08%，完全可以满足实际应用所需。

实现算力在云边端的合理布局   

通过算力在云边端的分配，降低了云端的数据处理以及 AI 推理压力，缩短了处理时间，有效提升了数据处理效率。

快速适配各种应用场景            

解决深度学习框架不统一、生产环境不稳定等问题，提升人工智能平台整体算力和可扩展性能，满足更多场景所需。

支持边缘端高效 AI 推理         

即使在轻量化的边缘设备侧，也具备较高的 AI 推理性能，提升 AI 应用在边缘端的运行效率，降低数据处理延迟。

目前，该方案已经在金融机构的多个场景得到应用。例如在银行开户验证/支付等场景中，银行能够通过生物特征识别技术验证是否实现了 “人证合一”，有效解决在线无人值守环境中的各类假体攻击，构建安全、高效的金融服务体系，减少流程时间以提高转化率。

如果您想要了解该解决方案的详细信息，请关注英特尔开发人员专区微信公众号在后台回复“HisignAI”，即可获取相关资料。