利用化学工具增强大型语言模型
Augmenting large language models with chemistry tools
Andres M Bran, Sam Cox, Oliver Tobias Schilter, Carlo Baldassari, Andrew Dickson White, Philippe Schwaller
Nature Machine Intelligence · 2024-05-08
开放获取大模型与语言被引 759被引前 10%影响因子 ≈24.3
摘要
大型语言模型（LLMs）在跨领域任务中展现出强劲的性能，但在处理化学相关问题时却存在局限。这类模型无法访问外部知识源，限制了其在科学领域的应用价值。我们推出了ChemCrow——一种专为完成有机合成、药物研发及材料设计等任务而设计的语言模型化学智能体。通过整合18种由专家开发的工具并以GPT-4作为底层语言模型，ChemCrow有效提升了大型语言模型在化学领域的表现，还衍生出新的功能。该智能体自主规划并执行了驱虫剂及三种有机催化剂的合成工作，还推动了新型发色团的发现。经大型语言模型评估与专家评审证实，ChemCrow在自动化处理各类化学任务方面成效显著。我们的研究不仅能为专业化学家提供帮助、降低非专业人士的入门门槛，还能通过衔接实验化学与计算化学的鸿沟推动科学进步。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 ChemCrow，一个以 GPT-4 为 LLM、集成 18 个专家设计工具的化学智能体，用于有机合成、药物发现和材料设计。核心论断是 LLM 在化学计算、IUPAC 名称转分子图等任务上存在缺陷，但通过外部工具增强可弥补，并涌现新能力。ChemCrow 自主规划并执行了驱虫剂 DEET 和三种硫脲有机催化剂合成，并引导发现新发色团。它作为化学助手降低非专家门槛并连接实验与计算化学。评估显示 ChemCrow 在化学事实性、推理和任务完成度上优于无工具 GPT-4，尤其复杂任务；但在依赖记忆的简单任务中 GPT-4 可能更好。
- 研究方法
- 采用工具增强 LLM 智能体架构，以 GPT-4 为推理引擎，向模型提供工具名称、描述、输入输出格式，并遵循 Thought、Action、Action Input、Observation 循环迭代调用工具。实现 18 个工具，分反应、分子、安全、搜索和标准工具，涵盖逆合成、程序预测、云机器人执行、爆炸物检查、名称到 SMILES 等。在 14 个用例上测试，包括目标分子合成、安全控制和相似作用模式搜索；通过 IBM RoboRXN 云连接平台自主执行 DEET 与 Schreiner、Ricci、Takemoto 硫脲催化剂合成。发色团案例中，ChemCrow 完成数据清洗、以乙腈为溶剂筛选、Morgan 指纹计算、随机森林训练评估与候选分子预测，人类随后合成并用 MS(ESI)、NMR 和 UV-Vis 验证。评估采用 GPT-4 无工具基线、EvaluatorGPT 和专家化学家三维度评分：化学正确性、推理质量、任务完成度。
- 学术贡献
- 在方法创新层面，提出并实现将 LLM 链式推理与化学专家工具耦合的智能体范式，属于 LLM for chemistry 与 autonomous experimentation 的方法贡献。在领域拓展层面，展示 LLM 化学智能体与物理世界连接，通过 RoboRXN 自主执行合成，推动实验与计算化学衔接。对药物发现、材料设计、有机合成、安全评估等子领域有价值。评估层面揭示 LLM 自评 EvaluatorGPT 在事实性关键任务上与人类专家判断分歧，无法替代专家评估。安全与治理层面提出硬编码和提示安全指南、风险缓解与知识产权讨论。
- 存在局限
- 论文指出当前结果受所选工具数量和质量限制，合成规划能力受底层合成引擎质量制约，工具输出不准确可导致错误结论。评估任务集被作者称为有限，且缺乏标准化化学 LLM 评测技术；任务集中在合成规划、分子设计与反应机理等，样本代表性有限。LLM 评估器 EvaluatorGPT 偏好流畅完整的 GPT-4 回答，在缺乏事实理解时无法可信评估，因此不能用于事实性关键的基准测试。ChemCrow 推理依赖 GPT-4，专家评分中两者推理质量相近；在简单且训练数据覆盖的任务上 GPT-4 表现更好。安全性与知识产权风险仍在，材料中提及非专家实验事故、模型化学理解不足导致错误决策、生成结构所有权与专利侵权等问题。
- 进一步研究方向
- 扩展和多样化评测任务，建立覆盖合成规划、安全控制、分子性质预测与机理说明的标准化基准，并继续以专家化学家三维度评分与事实核查作为金标准。将工具域从化学扩展到其他语言工具、图像处理工具等，测试对 ChemCrow 能力的增益，并评估新增工具带来的新风险。改进底层逆合成与合成规划引擎和工具输出质量，比较不同 LLM 底座与工具调用策略对化学事实性、推理链和任务完成度的影响。针对材料提出的训练数据质量与广度问题，引入更系统的化学知识训练或检索机制，并测试内置验证或同行评审式反馈对推荐可靠性的作用。围绕安全与知识产权，联合法律专家和产业方研究生成合成路线、结构与应用的所有权、侵权边界及访问控制策略。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Machine Learning in Materials Science