Abstract:
自动文本摘要是自然语言处理(NLP)领域中的一个重要分支,其主要难点之一是在于如何快速、客观且准确地评估生成摘要的质量.针对现有文本摘要质量评估方法中评估准确度不高、需要参考文本以及计算资源消耗大的问题,本文提出一种基于大语言模型的文本摘要质量评估方法,设计基于思维链原理的提示词构建方法以提高大语言模型在文本摘要质量评估任务上的性能,同时生成思维链数据集并以模型微调的方式对小型大语言模型进行训练,显著降低了计算需求.本文方法首先根据文本摘要的特点确定评估维度,并基于思维链原理(chain of thought,CoT)构建提示词;使用提示词对大型大语言模型进行引导,使其根据摘要样本生成思维链过程与评估结果,同时以此为基础生成思维链数据集;使用生成的思维链数据集对小型大语言模型进行微调训练;最后使用微调后的小型大语言模型完成文本摘要的质量评估任务.本文在Summeval数据集上进行了对比实验与分析,实验结果表明,本评估方法显著提高了小型大语言模型在文本摘要质量评估任务上的评估准确度,实现了一种无需参考文本、评估准确度高、计算需求低、便于部署的文本摘要质量评估方法.
Keyword:
Reprint Author's Address:
Email:
Source :
计算机系统应用
ISSN: 1003-3254
Year: 2025
Issue: 2
Volume: 34
Page: 28-36
Cited Count:
SCOPUS Cited Count:
ESI Highly Cited Papers on the List: 0 Unfold All
WanFang Cited Count:
Chinese Cited Count:
30 Days PV: 13
Affiliated Colleges: