由天桥脑科学研讨院主办的“从脑机接口到脑机共生”主题论坛(暨我国神经科学学会脑机接口与交互分会年会)昨日在上海举办,研讨院创始人雒芊芊宣告天桥脑科学研讨院树立尖峰智能实验室(Spiking Intelligence Lab, SIL),该非营利研讨机构由我国科学院自动化研讨所李国齐教授领衔。
尖峰智能实验室“尖”在哪儿?该实验室建议学习人脑这一自然界最精巧的智能载体,要点研制具有神经动力学特性的类脑大模型,将脉冲通讯、时空动态编码等核算特性与树突神经元的精细结构深度耦合,构建一个既具有强壮感知力,又具有深入回忆与考虑才能的“全脑架构”,完结从脑科学驱动AI到AI反哺脑科学的双向赋能。
在本年AI驱动科学研讨会上,天桥脑科学研讨院创始人陈天桥初次提出“发现式智能”理念,尖峰智能实验室正是这一理念的重要落地载体之一。李国齐以为,发现式智能的一个要害才能是神经动力学,本年,他带领团队成功研制出首款类脑脉冲大模型“瞬悉1.0”,标志着我国在类脑核算与大模型交融立异方面获得重要打破。
类脑模型被称之为“AI的下一代”,当时干流AI模型依靠Transformer架构,练习1750亿参数的GPT-3需求1000张GPU,消耗30万瓦。与之相对应的,大脑具有100亿亿参数,能耗仅为20瓦。因而,学习人脑机制将成为打破低功耗、长序列与通用性三大中心难题的要害。
李国齐介绍,瞬悉1.0包含7B纯线B混合模型两个版别,立异性融入MOE架构与脉冲编码技能,完结与干流开源生态的兼容互通。中心打破体现在三方面:一是选用线性或线性-注意力混合架构,将推理复杂度从序列长度依靠的线性增加优化为常数等级,破解超长序列处理难题;二是经过脉冲神经网络与事情驱动核算,使典型使命功耗降至毫瓦量级,较干流AI芯片下降1-2个数量级;三是仅用不到2%的干流模型练习数据(160B数据量),便到达平等规划模型的功能水平,大幅度下降练习本钱。
李国齐教授是我国脉冲神经网络和类脑大模型研讨的闻名青年专家,团队在该范畴深耕十年,已霸占大规划脉冲神经网络的规划与功能瓶颈,相关效果宣布于ICCV、NeurIPS等顶会,获2024年我国自动化学会自然科学一等奖。
瞬悉1.0的7B开源模型仅用干流大模型2%的预练习数据,就完结了阿里千问7B 90%的功能,且练习和推理的全过程均在国产算力上完结。与国产GPU企业沐曦科学技能协作,打通了国产类脑根底模型-国产GPU算力渠道-类脑芯片的全栈式研讨链条。
据悉,瞬悉1.0已开源7B模型并揭露76B版别测试陈述,同步发布中英文技能陈述。该模型不仅为处理智能算力功耗危机供给了有用计划,更经过学习脑机制提高AI的通用性与泛化才能,为后续千亿级类脑大模型研制奠定根底,标志着我国在类脑AI范畴进入世界抢先队伍。未来团队将继续推进模型迭代,深化与国产算力集群的适配优化,推进低功耗类脑智能在多场景的工业化使用。
雒芊芊表明,树立以来,天桥脑科学研讨院主要是经过捐献和联合共建赋能顶尖科研团队,包含与加州理工学院协作树立神经科学研讨院,在我国与上海华山医院和上海市精力卫生中心树立前沿实验室等。
尖峰智能实验室的树立,标志着研讨院在原有“外延式”捐献支撑的根底上,逐步增强“内部自主”的专项研制。尖峰智能实验室是研讨院首个选用“In-House形式”的研讨机构,直接招募顶尖人才、自主决议研制方向,将人物从协作赋能者晋级为发明主体,加快“发现式智能”从理念到根底理论打破再到技能效果的转化。
作为全球最大的私家脑科学研讨机构之一,树立9年的天桥脑科学研讨院坚持以超前布局、立异思路和耐性投入支撑我国脑科学研讨,获得了累累硕果。尖峰智能实验室的建立,是研讨院面向全新年代,聚集AI+脑科学的一个要害布局。
据了解,研讨院与上海华山医院协作,建立了使用神经技能前沿实验室,要点攻关脑机接口、睡觉、和认知阑珊等前沿课题。由该院孵化的脑虎科技,现在已经成为我国脑机工业的领军企业,也是全球仅有具有运动和汉语言双解码才能的侵入式脑机接口公司。此外,研讨院还携手上海市精力卫生中心树立了AI与精力健康前沿实验室,使用AI技能进行精力健康的筛查与治疗,相关严重研讨效果已在全球顶尖学术期刊和大会上宣布。