表格语言模型中的思维链推理
Chain-of-Thought Reasoning in Tabular Language Models
Mingyu Zheng, Hao Yang, Wenbin Jiang, Zheng Lin, Yajuan Lyu, Qiaoqiao She, Weiping Wang
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) · 2023-01-01
开放获取大模型与语言推理与思维链被引 50被引前 25%影响因子 ≈1.8
摘要
表格数学推理任务要求模型基于表格与问题中的异构数据，执行信息检索与数值计算等多步骤操作。现有解决方案往往将思维链推理技术应用于功能强大的大语言模型，以提升多步数学推理能力。然而，在私有化部署或资源受限的场景下，采用这类基于大语言模型的方法往往面临极大挑战。为解决这一问题，本研究重新聚焦于小规模表格语言模型，并首次将思维链推理技术引入其中。具体而言，我们提出了一种名为TaCo的创新框架，该框架协调两个分别负责思维链生成与答案推断的表格语言模型。此外，该框架还可与外部计算器结合，以提升数值计算的精确度。在TABMWP数据集上，TaCo的准确率达到了92.15%，较当前最先进的ChatGPT高出9.55%（ChatGPT准确率为82.60%），且参数量仅为0.8B。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文聚焦表格数学推理，即模型需在表格与问题构成的异质数据上完成信息查找与数值计算的多步操作。作者指出既有做法把思维链（CoT）推理扩展到大语言模型（LLM），但在私有化部署或资源受限场景中难以应用。论文因此重新审视小规模表格语言模型（TaLM），首次把CoT推理引入TaLM，并提出TaCo框架，由两个TaLM分别负责CoT生成与答案推断，并可接入外部计算器修正数值计算。预实验显示预训练TAPEX的零样本CoT并不优于vanilla，但给定标注gold CoT后TAPEX-large测试集准确率由18.59%升至48.01%，支撑了通过微调激发TaLM的CoT能力的思路。在TABMWP上，TaCo以0.8B参数取得92.15%测试准确率，比ChatGPT的82.60%高9.55个百分点。
- 研究方法
- 研究先做试点实验，以TAPEX-base（140M）和TAPEX-large（400M）在TABMWP上比较vanilla、zero-shot CoT与gold CoT三种设置，并尝试“Let’s think step by step”等触发句模板。主方法采用两阶段微调：第一阶段将表格线性化为含[HEAD]、[ROW]等特殊标记的序列，与问题Q和触发句P拼接，微调第一个TAPEX生成多步解S。第二阶段以原始输入和标注解S微调第二个TAPEX生成最终答案；推理时用经计算器修正后的解替换标注解。外部计算器g用正则表达式抽取生成解中的“+,-,×,÷”算式，调用Python eval计算，并通过字符串替换把前式结果传播到后续算式。实验在TABMWP上用精确匹配准确率和官方脚本评估，CoT生成用beam size为3的beam search，答案推断用greedy decoding，优化器为AdamW。消融覆盖去除计算器、将两阶段改为QT→SA/QT→AS单阶段、去除解与计算器的QT→A，以及把TAPEX替换为UnifiedQA（small/base/large）等设置。
- 学术贡献
- 在理论/范式层面，论文提出并验证了将CoT推理引入小规模表格语言模型这一路径，面向LLM-based方法不可行的私有化部署或资源受限场景。在方法层面，TaCo把CoT生成与答案推断拆分为两个TaLM，并用外部计算器修正四则运算错误，形成可复用的框架。在实证层面，TaCo使TAPEX-base和TAPEX-large分别提升29.19%和29.76%，并以0.8B参数在TABMWP上超过ChatGPT 9.55个百分点。消融具体量化了外部计算器与两阶段范式的贡献：去除计算器时TAPEX-large由92.15%降至74.58%，改为单阶段时约下降9.5%。在领域拓展上，论文把CoT推理从LLM迁移到TaLM，并把外部计算器纳入表格数学推理流程，为资源受限部署提供了可操作的模型方案。
- 存在局限
- 实验仅在TABMWP一个数据集上展开，材料未报告其他表格数学推理基准或跨领域表格上的复现，因而结论的外部效度未被检验。主干模型只覆盖TAPEX与UnifiedQA，且UnifiedQA-large在1.54B参数下仅76.96%，远低于TAPEX-large的92.15%，说明TaCo效果对表格预训练backbone依赖明显，材料未测其他生成式TaLM。外部计算器只处理“+,-,×,÷”四则表达式，依赖正则抽取与Python eval，材料未说明其对单位换算、百分比、比较关系、嵌套变量引用或非四则运算的覆盖。两阶段框架需要两个独立微调的TaLM（TAPEX-large合计0.8B），CoT生成中的非计算错误会进入答案推断；材料只展示计算错误累积，未给出错误类型分布与传播率。预实验仅比较TAPEX-base/large，且zero-shot CoT尝试多种触发句模板但只报告最佳结果，材料未系统分析触发句与解格式的敏感性。
- 进一步研究方向
- 在TABMWP之外选取不同领域、不同题型比例的表格数学推理数据，按相同两阶段流程复现TaCo，并比较TAPEX、UnifiedQA及其他生成式TaLM，验证准确率优势是否随表格结构和题型变化。对CoT生成输出建立细粒度错误标注方案，区分行/列查找错误、算式抽取失败、四则运算错误、单位或语义错误、答案格式错误，统计计算器修正前后的错误传播率。扩展外部计算器模块以覆盖百分比、单位换算、比较关系和嵌套表达式，并记录每次调用日志，比较扩展前后的准确率与失败案例。尝试把两阶段蒸馏或共享为单模型，或加入轻量路由决定是否调用计算器，测量准确率、显存、延迟与吞吐，在私有化部署约束下验证成本优势。系统变化触发句模板与解格式，做交叉消融，验证TaCo对提示词和中间解风格的敏感性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling