他在6月27日报道说,腾讯Hunyuan Big Model家族今天宣布,他推出了他的新成员The Hunyuan -A13B型号,他将欣赏开源。作为基于专家混合体系结构(MOE)的大型模型,Hunyuan-A13B具有800亿个总参数和130亿个激活参数。 “效果与上开源模型相当,但大大减少了推理延迟和过载计算。” Tencent Hunyuan说,对于个人开发商和小型企业来说,这无疑是个好消息。在极端条件下,您只能实现中间和低端GPU卡。用户可以在GitHub和HuggingFace等技术社区中下载并使用它。该模型的API已在官方腾讯云网站上启动。 Hunyuan-A13B模型选择性地激活了与每个肠道相关的模型的组件,该模型通过MOE架构提供了,该体系结构声称是“快速和节省” Compa红色至相同的攀登集中式模型,为个人和小型企业提供了“可扩展有效的替代方案”。在训练之前,该模型使用20个高质量的单词语料库网络来改善模型推断能力限制。我们改善了MOE体系结构的规模方法(即规模定律)的理论系统,为MOE体系结构设计提供了可量化的工程指南,并在模型中提供了更大的培训有效性。用户可以在必要时选择思维方式。快速思路模式为追求速度和最小计算超载的简单任务提供了一个简洁有效的输出。缓慢的思维方式包括更深入,更完整的推论步骤。这可以优化计算机资源的分配,以提高效率和精度。 Hunyuan获得了两个新的数据集,以填补该行业相关评估标准的空白。其中,Artifactsbench主要用于EV该代码的宗旨和一家具有1825年任务的新银行构建了该品牌。发现代理1024 stageary模型评估的银行C3设计数据数据模型的功能不便。例如,从特定效果(例如,在数学推理中,都进入“ 9.11或9.9”更大的效果,模型都可以准确地完成小数比较并显示步骤 - 逐步分析功能。对于现代流行代理应用程序,模型可以调用工具来生成复杂的命令响应,例如旅行策略和数据文件分析。让我们看一下数据和有效性。在多组公共数据测试中,该模型在数学,科学和逻辑推断的任务中表现出“重要效果”。