Hebatron：一款面向希伯来语的专用开源权重混合专家语言模型
HEBATRON: A Hebrew-Specialized Open-Weight Mixture-of-Experts Language Model
Noam Kayzer, Dan Revital, Ori Bar Joseph, Smadar Arvatz, Or Levi, Tal Geva, Shaltiel Shmidman, Amir DN Cohen, Noam Ordan, Omer Baruch, Kate Zinkovskaia, Zevi Apini, Sarel Weinberger
arXiv (Cornell University) · 2026-05-11
摘要
我们推出的Hebatron是一款基于NVIDIA Nemotron-3稀疏混合专家架构、专为希伯来语优化的开源权重大型语言模型。其训练采用三阶段由易到难的课程安排，并辅以持续的抗遗忘锚定机制，随后在200万组希伯来语-英语双语样本上开展监督微调。仅课程顺序的调整就可使综合基准测试得分较反向设置提升3个点。Hebatron的希伯来语推理平均准确率达到73.8%，这一表现优于DictaLM-3.0-24B-Thinking（68.9%），在GSM8K-HE和以色列知识问答任务中的表现也与Gemma-3-27B-IT不相上下；该模型每次前向传播仅激活30亿参数中的30亿个参数，却能在高达65536词元的原生上下文长度下实现约9倍的推理吞吐量。据我们所知，这是Nemotron-3架构首次针对特定语言进行的适配，也是首个具备原生长上下文支持能力的开源权重希伯来语专用混合专家模型。我们已公开发布该模型的权重，以支持希伯来语及闪族语言自然语言处理领域的进一步研究。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出并验证希伯来语专用开放权重模型 Hebatron，核心主张是在具备公开预训练数据分布的 NVIDIA Nemotron-3 稀疏 MoE 基座（30B 参数、每次前向仅激活约 3B 参数）上，通过课程化持续预训练加双语指令微调，可完成形态丰富、低资源语言的深度本地化，同时不牺牲英语推理能力。作者把希伯来语的建模困难具体化为三点：根-模式（root-and-pattern）非连缀模板派生使同一三或四辅音词根可派生数十种形态，niqqud 辅音符号可省导致拼写歧义，前缀介词、连词与定冠词黏着于词干冲击词元化与下游语义理解。支撑性论断包括：由易到难的数据排序本身即带来 3.01 分聚合基准增益（68.00 对反向课程的 64.99）；希伯来语推理均值 73.8%，高于 DictaLM-3.0-24B-Thinking 的 68.9%，在 GSM8K-HE（83.3% 对 82.8%）与 Israeli Trivia（72.1% 对 70.4%）上与 Gemma-3-27B-IT 相当；英语均值保持 86.0%，说明反遗忘锚定守住了跨语言推理。作者据此声称这是 Nemotron-3 架构首次针对某一目标语言完成完整本地化，也是首个具原生 65,536 token 上下文的开放权重希伯来语 MoE 模型。
- 研究方法
- 研究采用基座持续预训练（CPT）加有监督微调（SFT）的两段路径，基座为 Nemotron-3-Nano-30B-A3B-Base-BF16。CPT 按三阶段课程组织：第一阶段上下文 8,192、4,500 步，在约 75.5B token 上随机采样，语料池含英语 STEM 与推理 13.60B（45.9%）及希伯来语 Web/通用、文化学术、法律政府、新闻分项；第二阶段仅 200 步、3.36B token，引入新闻、社交媒体与口语等较难语域；第三阶段做长上下文扩展，语料经 2,000 词以上过滤后为 20.4B token（希伯来语 14.2B、英语 6.3B）。数据预处理为四段流水线：正则清洗、基于文档长度与字符分布的启发式过滤、MinHash 加 LSH 的近重复去重、仅对网页子集用 dictail/dictabert-char-spacefix 做空白归一化。SFT 语料共 2,063,533 条、2.8B token，含 instruction following 678,776 条、Hermes-3 663,245 条、Nemotron-Science 214,358 条、程序化生成的希伯来语 IFEval 200,147 条、合成双语 bitext 187,268 条、ChatQA2 长上下文 43,222 条、结构化输出 9,936 条。课程有效性通过与反向排序配置的对比实验验证，评测涵盖自动基准、人工偏好投票（决定性票 68.8%）以及激活参数与推理吞吐的效率对照。
- 学术贡献
- 贡献首先落在方法层面：论文给出首个把 Nemotron-3 稀疏 MoE 架构完整本地化到某一目标语言的流水线，将 CPT 与 SFT 串联，并以持续注入基座原始英语语料作为反遗忘锚定。其次是课程学习的实证材料：在同一算力预算下以正向与反向排序的 3.01 分差距，为“易到难”数据排序在语言本地化场景中的有效性提供直接证据。第三是材料发掘，构建了横跨网页、文学、法律、政府、学术、新闻与社交媒体的约 154B token 三阶段希伯来语预训练语料，以及含本地化英语推理蒸馏与程序化希伯来语 IFEval 的 2M 条对齐语料，两项资源对闪米特语 NLP 与低资源语言的数据构建有直接价值。第四是模型与效率层面：以约 1/9 的激活推理算力实现约 9 倍吞吐，在 GSM8K-HE 与 Israeli Trivia 上逼近更大的稠密模型，为形态丰富语言的 MoE 本地化给出效率基线，且权重以宽松许可开放。上述贡献主要作用于希伯来语与闪米特语建模、领域自适应预训练、MoE 效率三个子议题。
- 存在局限
- 消融设计偏薄：课程与反向课程的比较只报告单一配置的 68.00 对 64.99，材料中未明确提及随机种子重复次数、方差或显著性检验，3.01 分增益的稳健性无从判定。语料规模描述存在内部张力：第一阶段称训练于约 75.5B token，但其语料表所列池仅为 29.6B token，第二阶段又仅 200 步、3.36B token，与第一阶段的 4,500 步差距悬殊，各阶段配比依据材料中未明确提及。长上下文方面，论文宣称原生支持 65,536 token 并使用了 43,222 条 ChatQA2 样本，但材料中未给出任何针对长文档检索或多文档推理的独立评测结果，能力主张缺少对应证据。此外，希伯来语 IFEval 的 200,147 条样本为程序化生成，材料中未报告人工核验比例或与真实指令分布的对齐情况；引言把词元化列为希伯来语的核心挑战，方法部分却未提及对分词器作任何改造；合成 bitext 与知识蒸馏所用教师模型的来源与许可材料中亦未明确提及。人工偏好评测的标注者构成、规模与一致性指标同样未在材料中出现。
- 进一步研究方向
- 其一，做多随机种子、多数据配比的正交消融，把课程排序效应分解到形态精确性、事实性与多步推理等子维度并报告置信区间，以判定 3.01 分增益的可复现性。其二，针对论文自己识别却未处理的词元化问题开展受控实验，将现成分词器与按根-模式形态重训的词表对比，测量 binyan 与 niqqud 相关任务上的表现差异。其三，自建希伯来语长上下文评测集，例如跨多份法律判决或议会 protocol 的跨文档推理与信息检索任务，在 65,536 窗口上检验真实保真度，补齐当前只有训练样本而无评测结果的缺口。其四，对 200,147 条程序化希伯来语 IFEval 抽样做人工标注与错误类型学分析，量化形态约束的真实满足率，并据此迭代生成模板。其五，开展 MoE 路由分析，比较希伯来语与英语输入下的专家激活分布，检验是否自发形成语言特化专家，并据此调整专家数与前缀配置。其六，将同一套课程式 CPT 加反遗忘锚定流水线迁移到阿拉伯语等亲缘闪米特语或 Nemotron-3 的其他规模，检验该本地化配方能否跨语言、跨规模迁移。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling