大型语言模型的挑战与应用
Challenges and Applications of Large Language Models
Jean Kaddour, Joshua Harris, Maximilian Mozes, Herbie Bradley, Roberta Răileanu, Robert McHardy
arXiv (Cornell University) · 2023-07-19
开放获取大模型与语言被引 488被引前 50%影响因子 ≈1.1
摘要
大型语言模型（LLMs）在短短数年内从不存在发展为在机器学习讨论中无处不在。由于该领域发展速度迅猛，难以明确尚存的挑战以及已然取得丰硕成果的应用领域。在本文中，我们旨在建立一套系统的开放问题与应用成果清单，以便机器学习研究人员能够更迅速地把握该领域的当前状态并提升产出效率。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以文本数据训练的大语言模型为对象，提出用系统化的开放问题清单与应用成功领域清单回答两个问题：哪些问题尚未解决，LLM当前应用于何处以及这些挑战如何约束应用。论文将挑战归入设计、行为、科学三类，并列举不可完全审读的预训练数据、分词器依赖、高预训练成本、微调开销、高推理延迟、有限上下文长度、提示脆弱性、幻觉、错位行为、过时知识、脆弱评测、基于静态人工真值的评测、生成文本与人类文本不可区分、规模无法解决的任务、实验设计不足、可复现性缺乏等16项。应用部分覆盖聊天机器人、计算生物学、计算机编程、创意工作、知识工作、法律、医学、推理、机器人与具身智能体、社会科学与心理学、合成数据生成。论文还用预训练数据集表呈现数据规模与多样性的增长，并指出现代预训练数据已超出人工质量核查范围。材料将论文定位为观点性综述，目标读者为技术研究者，不讨论政治、哲学或道德视角。
- 研究方法
- 论文采用观点性综述路径，以已发表的LLM研究文献为材料，按“挑战”与“应用”两条线索编制分类目录；挑战部分按设计、行为、科学三组展开，应用部分覆盖聊天机器人、计算生物学、计算机编程、创意工作、知识工作、法律、医学、推理、机器人与具身智能体、社会科学与心理学、合成数据生成等领域。论文用表格汇总BookCorpus、OSCAR、WebText、CC-100、The Pile、C4、mC4、MassiveText、GLaM、Infiniset、ROOTS、The Stack、LLaMA/Red-Pajama、RefinedWeb等预训练数据集的规模、来源与公开性。材料未明确给出文献检索数据库、检索式、纳入排除标准、文献编码流程或质量评估方案。
- 学术贡献
- 贡献主要在领域梳理与问题框架层面：论文将分散的LLM挑战组织为设计、行为、科学三组，形成可复用的开放问题清单。其应用领域清单把LLM应用扩展到计算生物学、法律、医学、机器人、社会科学等跨学科场景，对LLM应用地图与跨领域迁移议题形成问题索引。预训练数据集汇总表把数据规模、来源、公开性与分词口径并列，为数据治理、基准污染与可复现性讨论提供材料入口。挑战条目与近重复、基准污染、PII泄露、分词公平性、缩放律系数争议等具体子议题相连，便于后续研究定位。材料未显示论文提出新算法、新模型或新实验方法。
- 存在局限
- 论文自称为观点性综述，材料未给出检索数据库、检索式、纳入排除标准、文献编码与质量评估流程，挑战清单的覆盖性与分类边界无法核验。挑战分组存在交叉：评测脆弱性、静态人工真值评测与可复现性缺乏同属科学类，但高预训练成本、高推理延迟、有限上下文长度与幻觉在图中未被明确归入三类，分类一致性不足。应用部分在材料中仅见目录标题，缺少各领域案例、采用率、失败模式与挑战约束机制的细节，无法判断应用成功清单的证据强度。论文限定文本数据模型并明确排除政治、哲学、道德视角，因而对创意工作中的审美、伦理与版权问题未展开。材料仅摘录至2.3节，后续论证链条与引用支撑无法完整评估。
- 进一步研究方向
- 可在材料提出的分类上开展系统性范围综述：预先登记检索式、数据库、纳入排除标准，对16项挑战和11个应用领域逐条编码，统计证据类型与成熟度。针对不可完全审读数据、基准污染与PII泄露，选取表1中的C4、The Pile、ROOTS等公开数据集，复现近重复检测、污染审计与PII抽取实验，比较不同过滤流程对模型记忆化和评测分数的影响。针对分词器依赖与多语言公平性，设计跨语言token数、API计费与下游性能的对照实验，检验低资源语言被过度计费与性能下降的关系。针对缩放律与下游性能脱节，用不同模型规模和下游任务验证上游损失、逆缩放与下游表现的相关性。针对应用领域，选择法律、医学、创意工作等做案例研究，记录挑战如何具体约束部署，并建立可复现的实验设计与评测协议。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling