正文

MediaTek联合阿里云在天玑移动平台完成通义千问大模型端侧部署

潇潇
潇潇 V管理员 /0 评论 /43 阅读
0328

北京时间2024年3月28日， MediaTek 宣布与 阿里云 达成深度合作，双方在 天玑 9300移动平台上完成 通义 千问 大模型 小尺寸版本的端侧部署，该部署可适配天玑8300移动平台，可实现离线状态下即时且精准的多轮人机对话问答。

相较于仅在云端部署生成式AI的应用和服务， 端云混合AI可充分利用终端设备的算力，在运营成本、用户信息安全、实时性以及个性化用户体验等方面具备显著优势。

天玑9300集成MediaTek第七代AI处理器APU 790，APU 790内置硬件级的生成式 AI 引擎，支持终端运行10亿、70亿、130亿、最高可达330亿参数的 AI 大语言模型，并支持生成式 AI 模型端侧“技能扩充”技术 NeuroPilot Fusion，生成式 AI 处理速度是上一代 AI 处理器的8倍，1秒内可生成图片。

此外，MediaTek 的AI开发平台NeuroPilot构建了丰富的 AI 生态，已适配全球主流的AI大模型，完整的工具链包含对NeuroPilot Fusion和 LoRA （低秩自适应）融合技术的支持，可显著提升大模型的端侧处理效率。

通义千问是阿里云自研的LLM基座大模型，目前已推出千亿参数的2.0版本以及开源的720亿、140亿、70亿、40亿、18亿、5亿参数等尺寸，以及视觉理解模型Qwen-VL、音频大模型Qwen-Audio等多模态大模型。

MediaTek与阿里云双方已完成通义千问大模型小尺寸版本在天玑移动平台的端侧适配，即将透过开发者生态推动该成果广泛普及于端侧AI应用中。此外，MediaTek面向开发者的模型中心和工具链将集成通义千问大模型系列。