虞先锋 汤健 韦继业
武汉轻工大学 430048
摘要：情感分析作为自然语言处理[1]领域的子任务，目前已经得到了广泛的研究。本文将基于深度学习的方法对新冠肺炎评论进行情感分析研究。本文提出了一种基于ernie与Focal loss的方法，能够很好的捕捉文本的上下文信息，有较强的情感分析能力，最终在ernie上取得了87.46%的准确率。
关键词：ernie，深度学习，情感分析，自然语言处理
1.引言
文本情感分析[2]又被称之为意见挖掘, 是指通过计算机技术对文本的主客观性、观点、情绪、极性的挖掘和分析, 对文本的情感倾向做出分类判断，涉及包括自然语言处理、计算语言学、机器学习[3]等多个领域。新冠肺炎的突如其来给全球人民的生活带来了不可磨灭的影响，因此，许多网友针对生活中所遇到的困难在社交平台上面发表了自己的看法。基于深度学习的方法对新冠肺炎评论进行情感分析研究变得越来越炙手可热。
2.相关研究集本文研究方法
随着人工智能的逐渐升温，深度学习越来越受到广大科研爱好者的喜爱。目前自然语言处理领域深度学习有很多高效的模型，主要分为传统的神经网络模型和新兴的神经网络模型，传统的深度学习网络模型的结构简单、参数少且易于训练，如TextCNN[4]、TextRNN[5]、DPCNN[6]和FastText[7]等，新兴的神经网络模型包括Bert，ernie等模型结构较为复杂、训练时间较长，但是效果却很好，本文将对新冠肺炎评论数据采用不同的深度学习网络模型进行情感分析研究。
3.数据集的构建
本文的数据集来源于kaggle数据科学竞赛平台，其中训练集41157条。测试集3798条，相关数据如图1所示，获取数据后对数据做预处理操作，包括数据清洗，分词，索引化，最后完成了数据集的构建。
.png)
图3.1 新冠肺炎评论数据
4.模型的构建
下面将介绍以下ernie模型，以及常用的损失函数。
4.1Ernie
ERNIE[8] 2.0 Model使用Transformer[9]作为编码器。经过多层的self-attention机制计算文本的上下文相关表示，学习不同层面的任务。同时，其引入了Task Embedding建模不同的预训练任务。模型使用Word、Sentence、Position和Task对应的表示加和作为输入。模型的预训练任务是从词汇、结构和语义三个层面构建的，以捕获和建模训练数据中不同的信息。Ernie模型的结构如图2所示。
.png)
图4.1 ernie2.0模型架构
4.2损失函数[10]
4.2.1Cross Entropy Loss
新冠肺炎评论的情感分析本质上文本分类，Ernie在做分类时常常采用Cross Entropy Loss(交叉熵损失函数)，Cross Entropy Loss的公式如下：
.png)
4.2.2Focal Loss
Focal Loss是图像处理领域中目标检测问题的一个有效的损失函数[10]。在目标检测问题中，背景占据了图像的很大一部分，因此很难识别特定目标。Focal Loss在损失函数基础上引入一个调制因子，用来区分每个类的识别难度。公式如下：
.png)
由于调制因子的作用，模型减弱了容易识别类的错误贡献，并防止了压倒性的损失函数。这使得模型可以更有效地集中在难以识别的类别。
5.实验
本实验一方面采用了传统的神经网络模型如TextCNN,TextRNN,DPCNN，另一方面用了ernie这样较为经典的模型，然后比较在Cross Entropy Loss和Focal Loss下的训练结果。
5.1模型评估标准
模型的评估标准有很多，常见的有准确率（accuracy），精确率（precision）,召回率（recall），下面将对相关的公式进行一个简单的介绍。
（1）准确率accuracy。
.png)
本文将用准确率作为评估标准来对模型进行评估。
5.2实验结果及分析
模型准确率的相关情况如图5.1所示：
.png)
图5.1 模型的准确率
由图5.1所示，在交叉熵损失函数下，TextCNN、DPCNN、TextRNN和ERNIE的准确率分别为73.48%、75.96%、82.54%和90.62%，可以看出ERNIE相较于传统的神经网络模型有着独特的优势。同时，我们可以看到，不同的模型在Focal Loss损失下相较于Cross Entropy Loss都有不同程度的提升，在TextCNN、DPCNN、TextRNN和ERNIE模型上分别提升了1.75%，1.65%，0.60%，0.15%。故针对新冠肺炎评论情感分析任务而言，ERNIE模型在Focal Loss损失下能取得更好地结果。
6.结束语
针对新冠肺炎评论做情感分析，传统的神经网络模型可以取得较好的结果，但ERNIE模型大大提升了模型的准确率，且各个模型在Focal Loss训练的结果比Cross Entropy Loss都有所提升。尽管本文的工作提升了分类模型的预测效果，但在情感实体信息的利用方面仍然具备一定的局限性。所以，接下来的工作将利用知识图谱进行实体增强语义信息，着重研究实体对隐式情感的深层次影响，以达到更好的分类效果。
参考文献
[1] 李舟军,范宇,吴贤杰.面向自然语言处理的预训练技术研究综述[J].计算机科学, 2020, 47(03): 162-173.
[2] S.Tan.Large margin Drag Pushing strategy for centroid text categorization[J].Expert Systems with Applications, 2007, 33(1): 215–220.
[3] 周志华.机器学习[M].北京:清华大学出版社, 2016, 123-124.
[4] Y.Kim. Convolutional neural networks for sentence classification[C]. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL 2014), 2014,1746-1751.
[5] T.Mikolov,M.Karafiát ,L.Burget,et al.Recurrent neural network based language model[C].Eleventh Annual Conference of the International Speech Communication Association, Atlanta,2010,756-793.
[6] D.Santos, C.N.,M. Gatti. Deep convolutional neural networks for sentiment analysis for short texts[C]. In Proceedings of the International Conference on Computational Linguistics(COLING), 2014, 69-78.
[7] 代令令，蒋侃，基于fastText的中文文本分类[J].计算机与现代化,2018,5:37-38
[8] Sun Y,Wang S,Li Y,et al.Ernie:enhanced representation through knowledge integration[J].ar Xiv prepri:1904.09223,2019.
[9] Matias, Ruschetti Cristian R., álvarez Raúl E. et al.?Power transformers monitoring based on electrical measurements: state of the art[J]IET Generation, Transmission & Distribution, 2018, 12(12)
[10] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2):318-327
论文作者简介：
虞先锋（24）男，汉族，湖北省十堰人，研究生，研究方向：自然语言处理
学校：武汉轻工大学 邮编：430048
汤健(24) 男，汉族，广东省广州人，研究生，研究方向:机器学习，学校:武汉轻工大学，邮编:430048
韦继业(27) 男，汉族，广东省揭阳人，研究生，研究方向：机器学习，学校：武汉轻工大学，邮编：430048