InstructUIE：面向统一信息提取的多任务指令微调
InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction
Xiao Wang, Weikang Zhou, Can Zu, Xia, Han, Tianze Chen, Yuansen Zhang, Rui Zheng, Junjie Ye, Qi Zhang, Tao Gui, Jihua Kang, Jingsheng Yang, Siyuan Li, Chunsai Du
arXiv (Cornell University) · 2023-04-17
开放获取大模型与语言被引 210被引前 50%影响因子 ≈1.1
摘要
大语言模型通过读取指导性提示激发了强大的多任务能力。然而，近期研究表明，现有大语言模型在信息提取任务上仍存在困难。例如，gpt-3.5-turbo在Ontonotes数据集上的F1分数仅为18.22，显著低于当前最优水平。本文提出InstructUIE，一种基于指令微调的统一信息提取框架，能够对各类信息提取任务进行统一建模，并捕捉任务间的依赖关系。为验证所提方法，我们引入IE INSTRUCTIONS，这是一个包含32个多样化信息提取数据集的基准，采用统一的文本到文本格式，并配有专家撰写的指令。实验结果表明，在监督设置下，我们的方法性能可与Bert相媲美；在零样本设置下，其性能显著优于当前最优方法和gpt3.5。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对现有大语言模型在信息抽取任务上表现不足的问题展开，以gpt-3.5-turbo在Ontonotes上仅取得18.22 F1为反例，提出InstructUIE统一框架。其核心论点是：将命名实体识别、关系抽取和事件抽取统一重构为自然语言生成式seq2seq任务，通过任务指令、候选选项约束和文本化输出结构，使单一多任务模型能够建模多种IE任务并捕获任务间依赖。支撑性论断包括：在监督设置下InstructUIE与Bert可比，在zero-shot设置下显著优于当时SOTA和GPT-3.5；IE INSTRUCTIONS以32个数据集、统一text-to-text格式和专家撰写指令构成评测基础。
- 研究方法
- 论文以11B FlanT5为骨干模型，构建包含任务指令、选项、文本和输出的任务schema，将NER、RE、EE统一映射为seq2seq生成，并用选项机制约束输出标签空间。方法上设计辅助任务：NER对应实体span抽取与实体类型识别，RE对应实体对抽取与关系分类，EE对应触发词抽取与论元抽取。材料层面构建IE INSTRUCTIONS，汇集32个公开IE数据集，覆盖科学、医疗、社交媒体、交通、新闻和Wikidata等领域，统一同义标签名、将下划线或缩写标签自然语言化并转为text-to-text格式。监督实验对每个数据集采样1万条样本、不足1万条则全量使用；zero-shot实验在18个NER数据集和6个RE数据集上训练，在7个NER数据集和2个RE数据集上测试，RE随机选取5个未见标签并重复5个随机种子。评价采用span-based offset Micro-F1，事件抽取另报Event Trigger F1和Event Argument F1。
- 学术贡献
- 论文在方法层面提出端到端统一信息抽取框架InstructUIE，将指令微调、选项约束与辅助任务结合，推进了统一信息抽取的生成式建模范式。在材料与评测层面构建IE INSTRUCTIONS，把32个异构IE数据集统一为text-to-text格式并配备专家指令，为跨数据集、跨任务的IE评测提供可复用基准。在领域拓展层面，把指令微调从一般NLP任务延伸到NER、RE、EE三类IE任务，并以监督和zero-shot两组实验检验统一多任务模型的有效性。其贡献对统一信息抽取、低资源与新标签schema迁移、指令微调在IE中的应用等具体议题有直接价值。
- 存在局限
- 监督实验统一对每个数据集采样1万条，导致ACE2005、Ontonotes和Polyglot-NER等大语料数据集上InstructUIE略低于Bert，作者将Polyglot-NER的差距归因于仅使用约20%训练样本，这说明采样策略影响大语料场景的性能评估。zero-shot NER虽在多数数据集上优于USM，但材料显示其整体仍低于ChatGPT，削弱了“显著优于GPT-3.5”的概括力度。RE任务仅CoNLL2004和SciERC可与UIE、USM比较，其余数据集缺少这两个baseline，比较覆盖不完整。EE任务在CASIE的Event Trigger F1未达SOTA，说明统一框架在部分事件触发抽取上仍有缺口。ChatGPT闭源使zero-shot比较无法排除训练数据重叠，材料也承认这一不可控因素，影响结论外推。
- 进一步研究方向
- 可取消或分层调整每数据集1万条的采样策略，在大规模语料上做采样率消融，验证其对ACE2005、Ontonotes和Polyglot-NER性能的具体影响。可将zero-shot评测从NER和RE扩展到EE，构造未见事件类型与论元角色测试集，检验指令加options机制在事件抽取上的泛化。可对辅助任务做逐项消融与组合实验，量化实体span抽取、实体类型识别、实体对抽取、关系分类、触发词抽取和论元抽取各自对主任务的贡献。可设计跨域与低资源标签schema迁移实验，固定骨干模型和指令模板，检验标签自然语言化与选项约束对迁移性能的作用。可用可控开源LLM和训练数据重叠检测复核ChatGPT的zero-shot比较，分离数据污染与指令泛化带来的差异。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling