开源破局 x 低功耗守护 : Deepseek与存算一体如何演绎AI界的"哪吒闹海"?
2025-03-04DeepSeek开源模型的热度席卷全球,其高效性和易用性正在成为推动AI技术普惠化的重要力量。后摩智能作为国产存算一体AI芯片的领军企业,自研的后摩漫界®M30芯片成功适配DeepSeek-R1-Distill-Qwen系列模型,包括1.5B、7B、14B等。这一成果不仅证明了存算一体芯片架构在大模型高效部署中的显著优势,也为端边大模型的广泛应用提供了强大的技术支撑。
DeepSeek-R1-Distill-Qwen-7B模型在M30上运行
性能数据:
· 上下文长度:8K
· 首字速度:<1s
· Decode速度:17 tokens/s
后摩智能的M30芯片专为端边部署大模型而设计,其低功耗的核心优势使其在端边应用场景中表现出色,M30芯片具备强大的物理算力,达到100~256 TOPS@INT8,同时典型功耗仅为12~35W,能够在保持高性能的同时显著降低能耗。此次适配DeepSeek-R1-Distill-Qwen系列模型的成功,进一步验证了M30芯片在处理复杂AI任务时的高效性和稳定性。随着AI技术向端侧和边缘侧的快速转移,后摩智能的存算一体技术的突破为国产AI芯片在端边大模型领域的应用树立了新的标杆,也为未来更多创新应用的落地奠定了坚实基础。
为了更好地推动端边大模型的广泛应用,后摩智能推出了基于M30芯片打造的系列产品——力谋®SM30计算模组、力谋®LM30智能加速卡、力谋®BX30 计算盒子,以满足不同场景下的多样化需求。
以力谋®SM30计算模组为例,这是一款是基于M30芯片打造的智算模组(SoM),支持PCIe EP模式。该模组以其小巧的体积、强劲的性能和极低的功耗,成为小型化设备和功耗敏感嵌入式场景的理想选择。力谋®SM30计算模组的物理算力为50/100 TOPS@INT8,典型功耗低于23W,支持8路FHD的编解码,并兼容PCIe 4.0接口。其低功耗和高性能的特点使其能够在资源受限的环境中高效运行,为边缘计算和端侧设备提供了强大的算力支持。