Galactica：面向科学领域的大型语言模型
Galactica: A Large Language Model for Science
Ross Taylor, Kardas, Marcin, Guillem Cucurull, Thomas Scialom, Hartshorn, Anthony, Elvis Saravia, Poulton, Andrew, Viktor Kerkez, Robert Stojnic
arXiv (Cornell University) · 2022-11-16
摘要
信息过载是阻碍科学进步的重要障碍。科学文献与数据的爆炸式增长使得从海量信息中发掘有用见解愈发困难。当前科学知识主要通过搜索引擎获取，但仅靠搜索引擎无法对科学知识进行有效组织。本文介绍的Galactica是一种能够存储、整合并推理科学知识的大型语言模型，其训练数据涵盖大量论文、参考资料、知识库及其他来源。在多项科学任务中，Galactica的表现均优于现有模型：在LaTeX公式等技术知识测试上，Galactica的得分达到68.2%，而最新的GPT-3仅为49.0%；在推理能力方面，Galactica在数学类MMLU测试中的得分高达41.3%，远超Chinchilla的35.7%，在MATH测试中得分20.4%，也高于PaLM 540B的8.8%；其在PubMedQA和MedMCQA开发集等下游任务上的表现也刷新了现有最优水平，分别达到77.6%和52.9%。尽管Galactica并未使用通用语料库进行训练，但在BIG-bench测试中的表现仍优于BLOOM和OPT-175B。我们认为这些结果证明了语言模型作为科学新界面的巨大潜力，现将该模型开源以供科学界使用。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将科学信息过载设为问题起点，指出搜索引擎只能指向Wikipedia、UniProt、PubChem等二次组织层，无法直接组织科学知识。作者提出Galactica这一大语言模型，主张其能在权重记忆中存储、组合与推理科学知识，并可能替代Licklider式文档存储与检索范式，成为科学知识的新接口。模型在LaTeX方程、数学MMLU、MATH、PubMedQA、MedMCQA dev和BIG-bench等任务上超过GPT-3、Chinchilla、PaLM 540B、BLOOM与OPT-175B等基线。论文还强调任务专用token与提示预训练能把科学知识组合进新任务语境，最终愿景是单一神经网络驱动科学任务。
- 研究方法
- 训练语料为1060亿tokens，包含4800万篇论文的880亿tokens（83.0%）、代码、参考材料、知识库、过滤CommonCrawl与提示数据，统一处理为markdown格式，并允许多个epoch重复token训练。Tokenization按模态专门设计：引用用[START_REF]/[END_REF]包裹，分步推理用<work>包裹，数学符号与数字逐字符切分，SMILES、氨基酸序列和DNA序列用专用起止token并作字符级切分。方法还包括提示预训练，将任务提示与通用科学语料一同预训练，并构建GSM8k、OneSmallStep、Khan Problems、Workout等推理数据集，合计21,543条prompts、900万tokens。评估覆盖MMLU、MATH、PubMedQA、MedMCQA dev、BIG-bench、LaTeX方程与化学反应知识探针、引用预测、SMILES与蛋白序列多模态任务及IUPAC名称预测。模型规模包括120B与30B，并对标题型与字母数字ID型引用标识符做消融。
- 学术贡献
- 论文在材料层面构建了面向科学任务的策展语料与专用token接口，属于数据集设计与方法创新，对科学大语言模型、LLM作为知识库、引用预测与多模态分子/蛋白表示学习等子领域有直接价值。它报告了科学问答、数学推理、引用预测和多模态任务上的新state-of-the-art，拓展了语言模型作为科研接口的议题。论文提出<work>工作记忆token作为chain-of-thought之外的推理方法，并显示引用预测优于调优的稀疏与稠密检索方法。模型开源，且论文自述使用Galactica协助推荐缺失引用、讨论主题、后续工作以及摘要和结论写作。
- 存在局限
- 论文承认权重记忆可能混合信息并产生幻觉，标题型引用标识在较低规模下更易出现幻觉错误。论文自述<work>提示数据集规模与多样性有限，Python offloading在实验中未启用，留作未来工作。细粒度知识如特定蛋白序列或系外行星特征仍可能需要检索，但本文未集成检索增强。与GPT-3、PaLM等≥3000亿token语料相比，1060亿策展语料规模较小；多模态药物发现任务为弱监督设定，未报告更细的误差分析。偏见、安全、知识更新与生成可靠性未系统评估，材料中未明确提及相关实验。
- 进一步研究方向
- 可扩展<work>数据集，覆盖多学科多步推导，比较启用与不启用Python执行开关在MATH、MMLU上的准确率与错误类型。可在120B与30B模型上加入检索增强模块，针对蛋白序列、化合物属性等细粒度知识测量幻觉率与事实一致性。可对标题型与ID型引用标识进行更大规模消融，分析规模-幻觉曲线以及引用预测分布逼近参考分布的过程。可把SMILES与蛋白序列任务扩展到更多弱监督药物发现与功能关键词标注场景，检验模型对功能基团等可解释属性的注意力。可设计支持自适应计算的架构以实现内部工作记忆，并将知识更新与生成可靠性作为独立实验路径。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling