大型语言模型作为优化器

摘要

主要观点

论文提出 Optimization by PROmpting（OPRO），将大语言模型作为优化器，用自然语言描述优化任务，从而绕开梯度缺失带来的困难。在每一步优化中，LLM 从包含先前生成解及其数值的 meta-prompt 中生成新解，评估后把新解加入 meta-prompt，供下一步继续优化。作者先在线性回归和旅行商问题上展示 OPRO，再把主要应用放在提示优化上，目标是寻找最大化任务准确率的指令。使用多种 LLM 后，OPRO 优化出的最佳提示在 GSM8K 上超过人工设计提示最高 8%，在 Big-Bench Hard 任务上最高 50%。文中核心概念包括 meta-prompt、optimization trajectory、scorer LLM、optimizer LLM 以及 Q_begin、Q_end、A_begin 等指令插入位置。

研究方法

论文构建 OPRO 框架，meta-prompt 包含优化问题描述、历史解与分数对、任务示例和输出格式，LLM 每步生成多个候选解，评分后按分数排序加入优化轨迹。线性回归案例使用合成一维 w、b 和截距，生成 50 个数据点，从 5 个随机解开始，每步最多生成 8 个新解，只向 meta-prompt 提供黑箱目标值，并保留历史最佳 20 对解；每个设置运行 5 次，比较 text-bison、gpt-3.5-turbo 和 gpt-4。TSP 案例在坐标范围 [-100, 100] 内采样节点，每个节点数 n 随机生成 5 个问题，用 Gurobi 构造 oracle 解并计算 optimality gap，与 Nearest Neighbor 和 Farthest Insertion 启发式比较，每步最多产生 8 个新解。提示优化以训练集准确率为目标值，在测试集上评估最终提示；材料提到 GSM8K 使用 3.5% 训练样本、Big-Bench Hard 使用 20% 训练样本即可。优化器 LLM 生成指令并插入 Q_begin、Q_end 或 A_begin，由 scorer LLM 执行任务；实验覆盖 PaLM-2 模型家族和 GPT 模型家族，并调节采样温度以平衡探索与利用。优化在 LLM 无法提出更高分新解或达到最大优化步数时终止。

学术贡献

论文在方法层面提出以 LLM 作为优化器的迭代框架，用自然语言问题描述和优化轨迹替代形式化目标函数、梯度更新或专用求解器，属于方法创新。该框架对 derivative-free optimization 与 LLM prompting 的交叉议题有价值，材料显示 LLM 仅通过 prompting 就能在小规模线性回归和 TSP 上找到好解，有时匹配或超过手工启发式。在提示优化子领域，OPRO 不同于编辑单个输入提示或要求新提示保持相同语义的先前思路，它利用完整优化轨迹逐步生成新提示。材料还报告零样本优化指令可匹配少样本思维链提示的性能，并超过人工设计提示，在 GSM8K 和 BBH 上取得提升。该工作还展示优化后的提示可迁移到同领域其他基准并带来性能增益，拓展了 LLM 提示优化的应用范围。

存在局限

材料明确说明 OPRO 不旨在超越连续数学优化的最先进梯度算法，也不旨在超越 TSP 等经典组合优化问题的专用求解器，目标只是演示 LLM 能通过 prompting 优化不同目标并解决部分小规模问题。LLM 上下文窗口长度限制使大规模问题描述难以放入 prompt，例如高维线性回归和需要访问大量节点的旅行商问题。某些目标函数的优化地形过于崎岖，LLM 无法提出正确下降方向，导致优化中途卡住。TSP 规模增大时 OPRO 性能急剧下降：n=10 时所有 LLM 都找到最优解，n=50 时 gpt-4 的解质量与启发式可比，而 text-bison 和 gpt-3.5-turbo 陷入局部最优，optimality gap 最多差 20 倍，Farthest Insertion 启发式开始超过所有 LLM。材料还提到附录 A 有失败案例，但节选未展开其具体内容；材料中未明确提及最优提示提升的统计显著性检验或非自然语言任务的系统评估。

进一步研究方向

针对上下文窗口限制，可研究优化轨迹压缩、分层 meta-prompt 或分块问题描述，在高维线性回归和 n 大于等于 50 的 TSP 上验证是否能降低 optimality gap 并减少卡住。针对崎岖优化地形，可设计将问题结构、启发式规则或约束以自然语言注入 meta-instruction 的策略，比较有无注入时的收敛步数、失败率和最终解质量。在提示优化中可做受控消融：固定 scorer LLM，变化 optimizer LLM、采样温度、每步生成解数量和轨迹长度与排序，在 GSM8K 和 BBH 上测量测试准确率与收敛速度，以验证探索-利用平衡假设。还可系统比较 Q_begin、Q_end、A_begin 三种插入位置以及 3.5% 与 20% 训练样本比例的影响，并测试优化提示跨模型和同领域基准的迁移效果。另一个路径是把 OPRO 与 NN、FI、Gurobi 组合，先用 LLM 生成初始解或候选邻域，再由启发式精修，在更多 TSP 实例上检验混合流程能否改善大规模解质量。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 大型语言模型：综述

  2024 · 被引 324

• 大型语言模型全面概述

  2023 · 被引 362

• 训练计算最优的大型语言模型

  2022 · 被引 904

• 训练计算最优的大型语言模型

  2022 · 被引 650

• 面向长上下文Transformer推理的高效提示词压缩方法：基于评估头技术

  2025 ·

• 大语言模型的指令微调：综述

  2023 · 被引 99