图书情报与数字图书馆 中国语言文字 中国古代史 基于加权多策略选样的古文断句模型研究——以古籍《宋史》为例 标题: 基于加权多策略选样的古文断句模型研究——以古籍《宋史》为例作者: 张景素,魏明珠第一作者: 张景素机构: 华中科技大学人文学院,吉林大学商学与管理学院期刊: 情报科学发表日期: 2022-10-01论文摘要: 【目的/意义】旨在研究少量标注样本构建古文断句模型，减少在模型训练过程中样本标注所需的成本，为探索数字技术与人文学科的融合发展提供崭新的思路。【方法/过程】从古文样本的不确定性和多样性出发，提出一种加权多策略选样方法，有效结合了BERT-BiLSTM-CRF、BERT-CRF等古文断句模型。通过引入信息熵和相似性等概念，深入分析古籍文本的不确定性和多样性，运用加权计算评估古文样本对模型训练的价值高低，对加权多策略方法所筛选的有价值样本进行人工标注，同时更新到训练集进行模型迭代训练。【结果/结论】以古籍《宋史》为例进行研究，所提出的方法分别在BERT-BiLSTM-CRF、BERT-CRF等古文断句模型训练过程中减少原来训练样本量的50%、55%，进一步验证了方法的有效性。【创新/局限】加权多策略选样的方法为古文断句模型训练提供了一种新思路，未来将探索该方法在古籍整理中其他任务的适用性。关键词: BERT; 主动学习; 古文断句; 数字人文; 选样策略DOI阅读链接: 10.13833/j.issn.1007-7634.2022.10.021
