• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

谭琛瀚 (谭琛瀚.) | 贾克斌 (贾克斌.) | 王浩宇 (王浩宇.)

Abstract:

自动文本摘要是自然语言处理(NLP)领域中的一个重要分支,其主要难点之一是在于如何快速、客观且准确地评估生成摘要的质量.针对现有文本摘要质量评估方法中评估准确度不高、需要参考文本以及计算资源消耗大的问题,本文提出一种基于大语言模型的文本摘要质量评估方法,设计基于思维链原理的提示词构建方法以提高大语言模型在文本摘要质量评估任务上的性能,同时生成思维链数据集并以模型微调的方式对小型大语言模型进行训练,显著降低了计算需求.本文方法首先根据文本摘要的特点确定评估维度,并基于思维链原理(chain of thought,CoT)构建提示词;使用提示词对大型大语言模型进行引导,使其根据摘要样本生成思维链过程与评估结果,同时以此为基础生成思维链数据集;使用生成的思维链数据集对小型大语言模型进行微调训练;最后使用微调后的小型大语言模型完成文本摘要的质量评估任务.本文在Summeval数据集上进行了对比实验与分析,实验结果表明,本评估方法显著提高了小型大语言模型在文本摘要质量评估任务上的评估准确度,实现了一种无需参考文本、评估准确度高、计算需求低、便于部署的文本摘要质量评估方法.

Keyword:

大语言模型 文本摘要 微调训练 思维链 质量评估

Author Community:

  • [ 1 ] [王浩宇]北京工业大学信息学部,北京 100124;先进信息网络北京实验室,北京 100876
  • [ 2 ] [贾克斌]北京工业大学信息学部,北京 100124;先进信息网络北京实验室,北京 100876
  • [ 3 ] [谭琛瀚]北京工业大学信息学部,北京 100124;先进信息网络北京实验室,北京 100876

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Source :

计算机系统应用

ISSN: 1003-3254

Year: 2025

Issue: 2

Volume: 34

Page: 28-36

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 13

Affiliated Colleges:

Online/Total:390/10550925
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.