“AI下一代”通常指借鉴人脑机制的类脑大模型(区别于主流Transformer架构),其核心目标是解决低功耗、长序列与通用性三大难题。目前,国内已研发出首款类脑脉冲大模型“瞬悉1.0”,包含7B纯线性模型与76B混合模型两个版本,创新性融入MOE架构与脉冲编码技术,实现与主流开源生态兼容互通。
其核心突破体现在三方面:一是采用线性或线性-注意力混合架构,将推理复杂度从序列长度依赖的线性增长优化为常数级别,破解超长序列处理难题;二是通过脉冲神经网络与事件驱动计算,使典型任务功耗降至毫瓦量级,较主流AI芯片降低1-2个数量级;三是仅用不到2%的主流模型训练数据(160B数据量),便达到同等规模模型的性能水平,大幅降低训练成本。
该模型的训练和推理全过程均在国产算力平台上完成,并与国产GPU企业合作打通了“国产类脑基础模型-国产GPU算力平台-类脑芯片”的全栈式研究链条,标志着“AI下一代”已在国产算力上实现跑通。