腾讯发布开源MoE大语言模型Hunyuan

综合 2024-12-26 03:26:30 17

11月5日消息,腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型

腾讯发布开源MoE大语言模型Hunyuan

在技术创新方面,腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练,弥补了自然数据的开源不足。

其中,模型该模型预训练支持处理高达256K的腾讯文本序列,大幅提升了长文本上下文的发布处理能力,能够更高效地完成长文本任务。开源

据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

本文地址:http://8bvxg.ahlulin.com/news/87e67699236.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

NBA新闻早知道:湖人错失绝平不敌活塞,库里10分不敌步行者•#湖人 vs活塞 #勇士不敌步行者#快船vs灰熊#太阳vs掘金 #詹姆斯错失绝平三分

官方:下周对阵独行侠勇士将为所有球迷赠送船长帽 向克莱致敬!

《太空工程师》“接触”更新现已上线 添加全新PvE战斗

中国电信完成6G天地一体化测试:这上、下行网速感受下!

网红名模坤穿高跟鞋走红带火一个村!本人回应: 给一起拍视频的村民发工资

队记:灰熊主教练詹金斯目前已经归队 此前因亲人离世暂时离队

努比亚Z70 Ultra独家搭载35mm人眼仿生动态镜头:拍摄体验最接近人眼

Stein:鹈鹕再添一名伤员 霍金斯因腰部拉伤将缺阵1

友情链接