基于改进BiDAF模型的机器阅读理解

doi:10.12422/j.issn.1672-6952.2025.06.011

摘要/Abstract

摘要：

机器阅读理解旨在使机器能够自行推理并提取信息回答问题。将基于BiDAF模型进行改进以提高问答系统的准确性与效率。首先，BiDAF模型在建模时对文本长度存在限制，针对长文本容易被截断的问题，引入了滑动窗口机制以记录同一文本中过长的信息；其次，由于模型使用的长短时记忆网络（LSTM）难以捕捉较远时间步信息，导致模型存在长期依赖问题，且难以实现并行化计算，为此使用基于自注意力机制的编码器（Encoder）模型提取文本信息；针对原模型文本长度限定导致的位置信息缺失问题，设计了组内匹配、组外排序的方法以获取模型训练的位置信息。采用改进后的BiDAF模型在公开数据集SQuAD上进行测试的结果表明，F1值、精确匹配率（EM）较传统BiDAF模型分别提升了2.48个百分点、11.86个百分点。

关键词: 机器阅读理解, 滑动窗口, 自注意力机制, BiDAF模型

Abstract:

Machine Reading Comprehension(MRC) aims to enable machines to independently reason and extract information and answer questions. This study proposes improvements based on the Bidirectional Attention Flow(BiDAF) model to enhance the accuracy and efficiency of the question-answering system.Firstly, the BiDAF model imposes constraints on text length during modeling, which may lead to the loss of answers when processing long texts. To address this issue, a sliding window mechanism is introduced to retain excessive information within the same text. Secondly, due to the use of Long Short Term Memory (LSTM) in the model, it is difficult for the model to capture distant time step information, resulting in long-term dependence issues and poor parallelization capability; Based on this, an Encoder model based on self-attention mechanism is used to extract text information. Finally, for the limited length, the method of matching within the group and external sorting outside the group is designed to obtain the position information of model training. Test results of the improved BiDAF model on the public dataset SQuAD show that the F1 score and Exact Match (EM) rate have increased by 2.48 percentage points and 11.86 percentage points respectively compared with the traditional BiDAF model.

Key words: Machine reading comprehension, Sliding window, Self?attention mechanism, BiDAF model

中图分类号:

TP391

张云飞, 王福威, 李东, 商月阳, 檀文彬. 基于改进BiDAF模型的机器阅读理解[J]. 辽宁石油化工大学学报, 2025, 45(6): 82-90.

Yunfei ZHANG, Fuwei WANG, Dong LI, Yueyang SHANG, Wenbin TAN. Machine Reading Comprehension Based on Improved BiDAF Model[J]. Journal of Liaoning Petrochemical University, 2025, 45(6): 82-90.

图/表 15

图1 BiDAF模型结构图

Fig.1 BiDAF model structure diagram

图2 改进后的BiDAF模型结构图

Fig.2 Improved BiDAF model structure diagram

图3 滑动窗口机制原理

Fig.3 Principle of the sliding window mechanism

图4 多头自注意力机制的原理

Fig.4 The principle of multi?head self?attention mechanism

图5 全连接层原理

Fig.5 The principle of the fully connected layer

表2 起始位置与结束位置的前4个预测值

Table 2 The top 4 predicted values for the start position and end position

子样本编号	起始位置	结束位置
1	7（0.40）	12（0.30）
	10（0.20）	8（0.13）
	9（0.12）	6（0.10）
	2（0.10）	7（0.20）
2	12（0.30）	8（0.20）
	9（0.21）	7（0.13）
	6（0.11）	9（0.12）
	11（0.10）	12（0.10）

表3 筛选后起始位置与结束位置的预测值

Table 3 The predicted values of the start position and end position after filtering

子样本编号	起始位置	结束位置
1		12（0.30）
	10（0.20）
	9（0.12）

2	12（0.30）
	9（0.21）
		9（0.12）
	11（0.10）	12（0.10）

表4 预测结果的排序

Table 4 The sorting of prediction results

起始位置	结束位置	预测值
10	12	0.50
9	12	0.42
12	12	0.40
9	9	0.33
9	12	0.31
11	12	0.20

表5 模型的重要参数

Table 5 The key parameters of the model

模型参数	数值
初始学习率	0.5
丢弃法概率	0.2
模型训练总轮次	12
批大小	32
文本最大长度	512
步幅	128
窗口大小	384

表6 数据集SQuAD答案类型占比

Table 6 The proportion of answer types in the dataset SQuAD

日期

数字

人名

地名

其他实体

8.9

10.9

12.9

4.4

15.3

名词性短语

形容词性短语

动词性短语

分句

其他

31.8

3.9

5.5

3.7

2.7

表7 BiDAF模型复现后的EM、F1对比

Table 7 Comparison of EM，F1 scores after the reproduction of the BiDAF model

模型	EM/%	F1/%
原模型	68.00	77.30
复现后的模型	64.18	75.41

图6 BiDAF模型复现后的EM、F1、loss（a） EM （b） F1 （c） loss

Fig.6 EM score, F1 score, and loss value of the reproduced BiDAF model

图7 改进后的BiDAF模型的EM、F1、loss（a） EM （b） F1 （c） loss

Fig.7 EM score, F1 score, and loss value of the improved BiDAF model

表8 BiDAF模型在SQuAD上的实验对比结果

Table 8 Experimental comparison results of the BiDAF model on SQuAD

模型	EM/%	F1/%
原模型	68.00	77.30
复现后的模型	64.18	75.41
人类表现	82.30	91.20
改进后的模型	70.48	89.16

表9 BiDAF模型在DRCD和CMRC2018数据集上的实验对比结果Table 9　Experimental comparison results of the BiDAF model on the DRCD and CMRC2018 datasets

模型	EM/%		F1/%
模型	DRCD	CMRC2018	DRCD	CMRC2018
复现后的模型	45.52	31.10	57.35	62.49
改进后的模型	70.91	58.93	83.25	82.17
Match⁃LSTM^[28]	-	-	64.70	73.70
DrQA^[29]	-	-	-	78.80
R⁃Net^[30]	51.48	71.50	71.10	82.60

参考文献 30

[1]	BORGWARDT K M， GRETTON A， RASCH M J， et al. Integrating structured biological data by kernel maximum mean discrepancy［J］. Bioinformatics， 2006， 22（14）： e49⁃e57.
[2]	HIRSCHMAN L， LIGHT M， BRECK E， et al. Deep read： A reading comprehension system［C］//Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics on Computational Linguistics. College Park： Association for Computational Linguistics， 1999： 325⁃332.
[3]	RILOFF E，THELEN M.A rule⁃based question answering system for reading comprehension tests［C］//Proceedings of the 2000 ANLP/NAACL Workshop on Reading comprehension tests as evaluation for computer⁃based language understanding sytems⁃Volume 6. Seattle： Association for Computational Linguistics， 2000： 13⁃19.
[4]	HENAFF M， WESTON J， SZLAM A， et al. Tracking the world state with recurrent entity networks［EB/OL］. （2017⁃05⁃10）［2019⁃12⁃24］. https：//ui.adsabs.harvard.edu/abs/2016arXiv161203969H.
[5]	SEO M， KEMBHAVI A， FARHADI A， et al. Bidirectional attention flow for machine comprehension［EB/OL］. （2018⁃06⁃21）［2019⁃12⁃24］. https：//arxiv.org/abs/1611.01603.
[6]	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［EB/OL］. （2017⁃06⁃12）［2019⁃12⁃24］. https：//arxiv.org/abs/1706.03762.
[7]	DEVLIN J，CHANG M W， LEE K，et al.BERT：Pre⁃training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1 （Long and Short Papers）.Minneapolis：Association for Computational Linguistics， 2019： 4171⁃4186.
[8]	YOU Y， LI J， HSEU J， et al. Reducing BERT pre⁃training time from 3 days to 76 minutes［EB/OL］. ［2019⁃12⁃24］. https：//arxiv.org/pdf/1904.00962v1.
[9]	刘欢，张智雄，王宇飞. BERT模型的主要优化改进方法研究综述［J］. 数据分析与知识发现， 2021， 5（1）： 3⁃15.
	LIU H， ZHANG Z X， WANG Y F. A review on main optimization methods of BERT［J］. Data Analysis and Knowledge Discovery， 2021， 5（1）： 3⁃15.
[10]	郑玉昆，李丹，范臻，等. T⁃Reader：一种基于自注意力机制的多任务深度阅读理解模型［J］. 中文信息学报， 2018， 32（11）： 128⁃134.
	ZHENG Y K，LI D，FAN Z，et al.T⁃Reader：A multi⁃task deep reading comprehension model with self⁃attention mechanism［J］. Journal of Chinese Information Processing， 2018， 32（11）： 128⁃134.
[11]	张浩宇，张鹏飞，李真真，等. 基于自注意力机制的阅读理解模型［J］. 中文信息学报， 2018， 32（12）： 125⁃131.
	ZHANG H Y， ZHANG P F， LI Z Z， et al. Self⁃attention based machine reading comprehension［J］. Journal of Chinese Information Processing， 2018， 32（12）： 125⁃131.
[12]	SHOBANA J， MURALI M.An improved self attention mechanism based on optimized BERT⁃BiLSTM model for accurate polarity prediction［J］. The Computer Journal， 2023， 66（5）： 1279⁃1294.
[13]	肇晓楠，谢新连，赵瑞嘉. 基于滑动窗口动态输入LSTM网络的铁路运输系统碳排放量预测方法［J］. 交通信息与安全， 2023， 41（1）： 169⁃178.
	ZHAO X N，XIE X L，ZHAO R J.A method for predicting carbon emission of railway transportation system based on an LSTM network with dynamic input via sliding window［J］.Journal of Transport Information and Safety，2023，41（1）：169⁃178.
[14]	江嘉华，徐鹏程，邓小毛. 基于滑动窗口⁃变分模态分解的深度学习金融时序预测［J］. 电脑知识与技术， 2022， 18（34）： 14⁃18.
	JIANG J H， XU P C， DENG X M. Deep learning financial time series forecasting based on sliding window⁃variational mode decomposition［J］. Computer Knowledge and Technology， 2022， 18（34）： 14⁃18.
[15]	王开放，姜瑛. 云环境下基于动态滑动窗口多通道Bi⁃LSTM的虚拟机故障预测模型［J］. 计算机应用研究， 2023， 40（3）： 855⁃862.
	WANG K F， JIANG Y. Virtual machine fault prediction model based on dynamic sliding window multi⁃channel Bi⁃LSTM in cloud environment［J］. Application Research of Computers， 2023， 40（3）： 855⁃862.
[16]	GOLAB L，TAMER ÖZSU M.Processing sliding window multi⁃joins in continuous queries over data streams［C］//Processing sliding window multi⁃joins in continuous queries over data streams. Berlin： VLDB Endowment， 2003： 500⁃511.
[17]	KIM Y. Convolutional neural networks for sentence classification［EB/OL］. （2014⁃09⁃03）［2019⁃12⁃24］. https：//arxiv.org/abs/1408.5882.
[18]	SRIVASTAVA R K， GREFF K， SCHMIDHUBER J， et al. Highway networks［EB/OL］. （2015⁃11⁃03）［2019⁃12⁃24］. https：//arxiv.org/abs/1505.00387.
[19]	WESTON J， CHOPRA S， BORDES A. Memory networks［EB/OL］. （2015⁃11⁃29）［2019⁃12⁃24］. https：//arxiv.org/abs/1410.3916.
[20]	HILL F， BORDES A， CHOPRA S， et al. The goldilocks principle： reading children's books with explicit memory representations［EB/OL］. （2016⁃04⁃01）［2019⁃12⁃24］. https：//arxiv.org/abs/1511.02301.
[21]	SHEN Y L， HUANG P S， GAO J F， et al. ReasoNet： Learning to stop reading in machine comprehension［C］//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Halifax： Association for Computing Machinery， 2017： 1047⁃1055.
[22]	赵旭峰，刘琳琳，曹宇，等. 基于图像分块和多头注意力机制的气象识别研究［J］. 辽宁石油化工大学学报， 2024， 44（2）： 83⁃90.
	ZHAO X F，LIU L L，CAO Y，et al. Research on weather recognition based on image segmentation and multi⁃head attention mechanism［J］. Journal of Liaoning Petrochemical University， 2024， 44（2）： 83⁃90.
[23]	甘玲，肖阳. 一种融合多头注意力机制和相对位置编码的知识库问答方法： CN202111035912.9［P］. 2021⁃09⁃03．
[24]	王卫东，胡克富，姜元昊，等.一种基于Transformer编码器和位置编码的推荐方法： CN202211219189.4［P］. 2022⁃09⁃30．
[25]	WISEMAN S， RUSH A M. Sequence⁃to⁃sequence learning as beam⁃search optimization［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin： Association for Computational Linguistics， 2016： 1296⁃1306.
[26]	Hu J Q， Liu Y， Wu K S.Neural network pruning based on channel attention mechanism［J］.Connection Science，2022，34（1）：2201⁃2218.
[27]	张小川，戴旭尧，刘璐，等. 融合多头自注意力机制的中文短文本分类模型［J］. 计算机应用， 2020， 40（12）： 3485⁃3489.
	ZHANG X C， DAI X Y， LIU L， et al. Chinese short text classification model with multi⁃head self⁃attention mechanism［J］. Journal of Computer Applications， 2020， 40（12）： 3485⁃3489.
[28]	WANG S H， JIANG J. Machine comprehension using match⁃LSTM and answer pointer［C］//5th International Conference on Learning Representations， ICLR 2017. Toulon： ICLR， 2017： 1⁃15.
[29]	CHEN D Q， FISCH A， WESTON J， et al. Reading wikipedia to answer open⁃domain questions［C］//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Vancouver： Association for Computational Linguistics， 2017： 1870⁃1879.
[30]	PARK C， LEE C， HONG L， et al. S2⁃net： Machine reading comprehension with SRU⁃based self⁃matching networks［J］. ETRI Journal， 2019， 41（3）： 371⁃382.