在信息时代的大潮下，微博、twitter等社交媒体蓬勃发展，情感分析已经成为自然语言处理的重要方面，在电商平台的评论信息分析、社交媒体平台用户的评论导向等方面有重要的现实价值.

情感分析的传统方法是基于词典和机器学习的方法^[1-2].TURNEY等^[3]使用无监督学习模型通过分类的词典将文本分类，CHINSHA等^[4]使用基于规则、依存关系和评价词典的无监督模型，虽然不需训练数据，但领域依赖性强.BHUSHAN等^[5]建立基于文本间相似性的机器学习模型.ABDI等^[6]对使用最广的几种特征选择技术和机器学习分类器在情感分析中的表现进行了性能研究.然而，传统的词典与机器学习的方法无法解决社交短文本自身词汇稀疏性、语法随意性与热词性导致的问题，深度学习逐渐成为主流.HUSSAIN等^[7]基于深度信念网络通过深度学习算法进行文本情感分析.KONATE等^[8]证明了单层卷积神经网络(convolutional neural network, CNN)的深度学习模型相比于机器学习表现更好.金志刚等^[9]基于卷积神经网络结合表情符号建立情感分析模型.WU等^[10]提出了结合规则和深度学习的混合无监督方法.另一方面，监督学习手工标签获取困难需要专家制定规则，进行人工标注，无监督学习又缺少标签引导，效果往往不能令人满意，因此半监督学习是一种有效的解决方式.KIM^[11]提出了改进的半监督维数约简框模型，保留特征提取优点解决情感分析缺点.WANG等^[12]提出将K-means算法融合进CNN，实现半监督学习的文本情感分析.

同时，网民们在社交平台上通过短文本发表观点分享生活，相似的爱好与观念将网友们聚集成个性化的社交网络.有研究表明，社交理论对社交网络短文本情感分析有着一定的指导作用，可提高预测效果.抽取社交网络特征进行文本情感分析^[13]已取得了较好效果.HU等^[14]基于线性回归、社会关系提出了MSA图正则化模型.WANG等^[15]定义用户到用户主题包含度并构建其稀疏网络.XIAO等^[16]量化共同邻居的依赖关系，分析结构空间中的用户相关性.XIA等^[17]充分利用词语关系，使用基于主题图的模型实现多领域应用.卢桃坚等^[18]利用微博-微博关系构建基于图的半监督分类器，连接标记和未标记数据.SHI等^[19]给出了基于CNN的多特征情感分析模型，肖云鹏等^[20]分析社交网络中用户属性和关系数据，发现了用户关系建立的关键因素.徐志明等^[21]定义了用户关系强度，并给出了基于各种用户属性信息的计算方法.WEI等^[22]研究了用户在社交网络情感传播中的作用.白朔天等^[23]通过多任务回归网络挖掘方法, 分析社交媒体用户人格和网络行为的关联模式.

目前在社交媒体短文本情感分析方面，使用半监督算法的研究者鲜少利用社交网络进行研究; 而少数通过社交关系进行情感分析的研究又大都未采用半监督算法且对用户关系的衡量不够细致.因此，本文一方面充分利用社交网络，通过用户关联度建立文本关系模型，使有标签和无标签的文本建立联系形成聚类，通过有标签的文本标注一部分无标签文本，从而增加标签数量，另一方面通过word2vec训练大规模互联网语料库，学习词组的高维向量表示，作为中文词汇高效的数学表示模型，有利于加速后续深度学习模型训练的收敛，结合卷积神经网络建立半监督的深度学习模型，为舆情监控、信息预测提供基础.

1 基于用户关联度的半监督情感分析模型 1.1 模型框架

本文建立基于用户关联度的半监督情感分析模型(sentiment analysis using social relationship strength and convolutional neural network, SA-SRS-CNN)，主要分为标签添加和情感分析两部分.标签添加部分首先通过用户间的关注关系，基于社交理论构建0-1分布的用户关联度模型(user relationship using social relations, UR-S)，然后通过用户背景属性和文本相似度改进UR-S模型，构建文本-文本关系模型(text relationship strength using social relations, user attribute and text similarities, TRS-SAT)，实现有标注和无标注数据的关联，通过有标签的文本标注一部分无标签文本，从而增加标签数量.情感分析部分，通过word2vec训练大规模互联网语料库，学习词组的分布式高维向量表示，作为中文词汇高效的数学表示模型，有利于加速后续深度学习模型训练的收敛.结合CNN构建基于用户关联度和深度学习的半监督情感分析模型，实现短文本情感分析.其流程图见图 1.

该模型的特点在于，结合用户关系、用户背景属性、文本相似度与卷积神经网络，将监督学习改为半监督学习.其实现流程如下：

1) 预处理原始微博文本并计算文本相似度矩阵;

2) 根据用户背景属性和用户关注关系计算用户关联度，并根据用户关联度和文本相似度建立TRS-SAT模型，计算文本-文本关系;

3) 基于文本-文本关系，实现有标注和无标注数据的关联，通过有标签的文本标注一部分无标签文本，从而增加标签数量，将所有的有标签文本作为卷积神经网络的输入语料集;

4) 使用word2vec工具训练大规模互联网语料库，学习词组的高维向量表示;

5) 通过word2vec计算微博文本的词向量表示，若微博文本中的词组在4)中存在，直接使用其结果，否则，通过word2vec随机初始化;

6) 通过卷积与池化运算，捕获并筛选局部特征，训练微博文本情感分类器，实现情感分析.

提出模型的两个主要构成，即TRS-SAT模型和CNN模型.

1.2 改进用户关联度的文本关系模型

提出的改进用户关联度的文本关系模型(text relationship strength using social relations, user attribute and text similarities, TRS-SAT)是由基于社交理论的UR-S模型拓展而来，在其基础上，引入用户属性和文本相似度将0-1分布的用户关联度转化为文本-文本的关系，构建TRS-SAT模型.该模型为SA-SRS-CNN模型的第一部分，用于增加标签.

1.2.1 用户关联度模型

用户关联度模型即UR-S模型通过关注关系，基于情感一致性、情感感染性两种被社会学家所认同的社交理论，构建0-1分布的用户关系.情感一致性，指相同作者发表的微博比随机采样的微博更有可能在情感极性上保持一致; 情感感染性，意指好友间发表的微博更有可能在情感极性上保持一致.定义用户基于情感一致性、情感感染性产生的关系强度为用户关联度.

用户-文本矩阵$ \mathit{\boldsymbol{U}} \in {\rm{ }}{\mathit{\boldsymbol{R}}^{d * n}}$，d是语料库中用户的数量，n为文本的个数.若用户u_i发表微博t_j，则U_ij=1，否则U_ij=0，见图 2 (a).用户-用户关系矩阵$\mathit{\boldsymbol{F}}{\rm{ }} \in {\rm{ }}\mathit{\boldsymbol{R}}{^{d*d}} $中，若用户u_i关注用户u_j，则F_ij=1，否则F_ij=0，见图 2 (b).

则依据情感感染性和情感一致性有:

$ {\mathit{\boldsymbol{A}}_{{\rm{sc}}}} = {\mathit{\boldsymbol{U}}^{\rm{T}}}\mathit{\boldsymbol{U}}, $

(1)

$ {\mathit{\boldsymbol{A}}_{{\rm{ec}}}} = {\mathit{\boldsymbol{U}}^{\rm{T}}}\mathit{\boldsymbol{FU}}. $

(2)

式中：A_sc为情感一致性关系矩阵，A_ec为情感感染性关系矩阵，U为用户-文本矩阵，F为用户-用户关系矩阵.在对称矩阵A_sc中, 元素A_scij=1表明，微博t_i和t_j是同一用户发表，根据情感一致性，这两条对应的微博，更有可能表达相似情感.在非对称矩阵A_ec中，元素A_ecij=1表明，微博t_i和微博t_j的作者是朋友，这两条微博表达的情感有更强的相似性. A_s结合A_sc和A_ec给出用户关联度A_s的表达式为

$ {\mathit{\boldsymbol{A}}_{\rm{s}}} = {\mathit{\boldsymbol{A}}_{{\rm{sc}}}} + {\mathit{\boldsymbol{A}}_{{\rm{ec}}}}. $

(3)

1.2.2 改进用户关联度的文本关系模型

虽然UR-S模型给出了用户关联度，但是考虑到用户对每个好友的信任强度不同(如用户1同时受到用户3和用户2的影响，但是用户3和用户2的倾向不同)，简单的二元关系已不能满足对社交网络研究的需要.在UR-S模型的基础上引入用户属性和文本相似度，构建基于用户关联度的文本-文本关系模型：TRS-SAT模型.

在UR-S模型的基础上，结合本实验获得的数据将用户信息进行度量，度量标准见表 1.构建用户属性矩阵S.其中S₁、S₂、S₃分别表示位置信息、教育信息与性别信息.并改进A_ec定义式为

$ {\mathit{\boldsymbol{A}}_{{\rm{ec}}}} = {\mathit{\boldsymbol{U}}^{\rm{T}}}\mathit{\boldsymbol{S}} \circ \mathit{\boldsymbol{FU}}. $

(4)

式中:S为用户属性矩阵，符号°表示逐元素的Hadamard乘积.

另一方面，通过文本相似度将UR-S模型中0-1分布的用户关系转化为非二元的文本关系.由于短文本具有不规范性和随意性，在词项文档矩阵分词前首先进行预处理实现降维.利用向量空间模型与TF-IDF算法构建文本内容特征矩阵，通过余弦相似度计算文本相似度矩阵M，得到任意两条语料的相似度.

在TF-IDF算法中，矩阵中每个元素的值代表相应列文本对应行上的单词元素的权重，定义：

$ {T_{{\rm{tf}}}} = \frac{a}{b}, $

(5)

$ {I_{{\rm{idf}}}} = \lg \frac{N}{d}, $

(6)

$ {T_{{\rm{tf}} - {\rm{idf}}}} = {T_{{\rm{tf}}}} \cdot {I_{{\rm{idf}}}}. $

(7)

式中：a为该文本中该词项出现数量，b为本文件词项总数量，N为语料库中语料的总数量，d为含有所要计算单词的语料数.余弦相似度是计算两个向量的夹角余弦值也是判断向量相似度的重要方法，公式为

$ \cos \theta = \frac{{\sum\limits_1^n {{\mathit{\boldsymbol{A}}_i}{\mathit{\boldsymbol{B}}_i}} }}{{\sqrt {\sum\limits_1^n {\mathit{\boldsymbol{A}}_i^2} } \sqrt {\sum\limits_1^n {\mathit{\boldsymbol{B}}_i^2} } }}. $

(8)

式中：向量$ \mathit{\boldsymbol{A}}{\rm{ }} = ({A_1}, {A_2}, \ldots , {A_n})$，向量$ \mathit{\boldsymbol{B}}{\rm{ }} = ({B_1}, {B_2}, \ldots , {B_n})$.在此基础上构建TRS-SAT模型：

$ {\mathit{\boldsymbol{A}}_{{\rm{st}}}} = \left( {{\mathit{\boldsymbol{A}}_{{\rm{sc}}}} + {\mathit{\boldsymbol{A}}_{{\rm{ec}}}}} \right) \circ \mathit{\boldsymbol{M}}, $

(9)

$ {\mathit{\boldsymbol{A}}_{{\rm{st}}}} = \left( {{\mathit{\boldsymbol{U}}^{\rm{T}}}U + {\mathit{\boldsymbol{U}}^{\rm{T}}}\mathit{\boldsymbol{F}} * \mathit{\boldsymbol{SU}}} \right) \circ \mathit{\boldsymbol{M}}. $

(10)

式中A_st为文本与文本之间的关联强度，用来衡量文本与文本关系.通过与M的Hadamard乘积将用户间关系转化为文本间关系.

1.3 基于卷积神经网络的情感分析模型

SA-SRS-CNN模型的第二部分是结合word2vec的基于卷积神经网络的情感分析模型，流程图见图 3.

word2vec是从大量文本中以无监督学习的方式学习语义知识的模型，其本质就是将单词从原先所属的空间映射到新的多维空间中.通过学习文本，用词向量的方式表征词的语义信息; 通过嵌入空间，将语义上相似的单词映射到距离相近的地方.本文在Word2vec中采用Skip-gram模型，计算输入word的input vector与目标word的output vector之间的余弦相似度，并进行softmax归一化.

word2vec首先训练大规模互联网语料，学习词组的高维向量表示.再通过word2vec计算微博文本的词向量表示，若微博文本中的词组在大规模互联网语料中存在，直接使用其结果，否则，通过word2vec随机初始化.用词向量表示预处理后的文本作为CNN的输入，构建情感分类器.本文借鉴Kim等^[24]使用的CNN模型，该模型虽然不是第一次提出将卷积神经网络用于文本分类，但是给出了多个变体和调参过程，是卷积神经网络用于文本分类的开山之作，该模型结构图见图 4.

该模型分为输入层、卷积层和分类层三部分.

输入层是r · u维度的文本词向量矩阵，r为每条文本的特征词组数，u由word2vec决定.卷积层首先通过长度为h的卷积核w卷积词向量矩阵.然后通过BN (Batch Normalization)算法进行归一化提升训练速度，再通过最大值池化进行降维，并将特征数量一致化.分类层通过BN算法防止数据分布改变，并通过softmax层计算分类概率.卷积过程为

$ {t_i} = f\left( {w * {s_{i:i + h - 1}} + b} \right). $

(11)

式中：${s_{i:i + h - 1}} $为由第i个词组至第i+h－1个词组组成的连续文本片段，*为卷积运算，b为偏置项，f为非线性激活函数.分类概率计算公式为

$ {P_j} = P\left( {y = j\left| {X,b} \right.} \right) = \frac{{{{\rm{e}}^{{\mathit{\boldsymbol{X}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_j} + {b_j}}}}}{{\sum\limits_{i = 1}^L {{{\rm{e}}^{{\mathit{\boldsymbol{X}}^{\rm{T}}}{\mathit{\boldsymbol{W}}_i} + {b_i}}}} }}. $

(12)

式中:P_j为该文本属于第j类的概率，X、W、b_i、b_j分别为分类层的输入、权值矩阵、偏置项的第i元素和偏置项的第j元素，L为类别数量.

2 实验与分析 2.1 数据集和评价指标

实验数据集分为两部分：word2vec训练语料和微博数据集.

使用搜狗实验室整理的新闻数据集作为word2vec训练语料，包含2 706 229条新闻语料和565 345个词组.微博数据集中出现在词向量集合中的词组使用word2vec的计算结果，否则随机初始化.

微博数据集：由于并未发现同时具有用户背景信息、用户-用户关系、用户-文本关系的公开数据集，自行采集约13 000条微博文本，并对其中9 000条微博文本进行积极和消极的标注，其中积极类微博3 467条，消极类微博5 533条.通过本文模型的标签添加部分后，获得有标签的微博文本9 873条.微博文本示例见表 2.

本文采用的评价指标是准确率(A_accuracy)、召回率(R_recall)和F值：对于给定的测试数据集，TP为将积极文本分类为积极的数量，TN为将消极文本分类为消极的数量，FP为将积极文本分类为消极文本的数量，FN为将消极文本分类为积极文本的数量.其计算公式为

$ {A_{{\rm{accuracy}}}} = \frac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FP}} + {\rm{TN}} + {\rm{FN}}}}, $

(13)

$ {R_{{\rm{recall}}}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}}, $

(14)

$ F = \frac{{2{A_{{\rm{accuracy}}}}{R_{{\rm{recall}}}}}}{{{A_{{\rm{accuracy}}}} + {R_{{\rm{recall}}}}}}. $

(15)

2.2 实验设计

对比实验共4组.为验证文本相似度和社交关系对情感分析的促进效果，对文献[24]中Kim等提出的基于CNN的社交网络短文本情感分析模型进行改进，引入word2vec训练词向量和添加批量归一化算法(batch normalization, BN)进行归一化，记为CNN模型，作为对比; 为进一步验证将社交关系转化为非二元分布对情感分析的促进效果，与主模型去除改进用户关联度的CNN模型进行对比，记为WS-CNN; 为验证将社交关系与卷积神经网络进行结合构建文本情感分析的优越性，与传统的支持向量机模型对比，记为SVM模型; 为证社交关系引入的普遍适用性，SVM模型与通过社交关系改进的半监督SVM模型对比，记为SS-SVM模型.将主模型记为SA-SRS-CNN，模型设置见表 3.

对于主模型，首先使用训练过大规模语料的word2vec计算词向量表示; 然后计算文本相似度，结合用户关联度构建TRS-SAT模型; 再依据TRS-SAT模型增加标签作为CNN的输入，最后通过卷积与池化，捕获并筛选局部特征，训练情感分类器.在CNN部分，使用Adadelta算法实现学习率的自动更新，反向传播算法训练模型，随机梯度下降算法求解模型.其参数选取是在小批量数据集上交叉验证后确定的，实验参数具体设置见表 4.

对于SS-SVM模型与SVM模型中所用到的支持向量机模型，设置类型为C-SVC，核函数选择RBF核函数，参数c和g通过交叉验证(cross-validation)和网格搜索(grid-search)得到最优，其中c=1，g=0.005.

2.3 实验结果和分析

每组实验均采用十折交叉验证，各组实验结果见表 5.

由表 5可知，随着CNN模型、社交关系、社交强度对模型的不断改进，模型的分类准确率逐步提高.将本文提出的SA-SRS-CNN模型与SS-SVM模型对比，情感分析的准确率、召回率、F值分别相对提升11.40%、5.90%、8.65%;与CNN模型相比，分别相对提升4.12%、4.17%、4.14%;结合WS-CNN模型可知，其中改进的用户关联度分别贡献3.02%、2.94%、2.97%.在基于社交理论的UR-S模型的基础上，引入用户属性和文本相似度将0-1分布的用户关系转化为量化的文本关系; 构建的TRS-SAT模型，通过用户关联度和文本相似度同时保证标签添加的效率和准确度，为SA-SRS-CNN模型的半监督提供基础，实现标签增加提升情感分析的准确率与效率.

对比SS-SVM模型与SVM模型，情感分析准确率、召回率、F值分别提升相对值7.16%、4.16%、5.72%.进一步证明TRS-SAT模型通过社交关系、文本相似度和用户属性增加标签，能够提升情感分类器性能，优化情感分析效果，具有普遍适用性.

综上可得出结论，本文提出的SA-SRS-CNN模型通过用户关联度、文本相似度实现半监督对微博情感分析改善效果显著; 利用词向量计算文本的语义特征，利用卷积神经网络挖掘特征集合与情感标签间的深层次关联，能够提升情感分类器性能.由此可见，该对比实验充分验证本文提出的SA-SRS-CNN模型有良好的性能.

3 结论

为解决监督学习大量的标签获得困难和社交媒体短文本具有的词汇稀疏性、语法随意性、热词性导致的问题，本文基于用户社交关系、用户背景属性、文本相似度构建TRS-SAT模型，并结合CNN模型，构建SA-SRS-CNN模型.本文充分利用社交网络，建立用户关联度模型和基于用户关联度模型的文本关系模型增加标签数量，结合CNN实现半监督的深度学习.通过对比实验将本文提出的SA-SRS-CNN模型与SS-SVM模型进行对比，情感分析准确率、召回率、F值分别提升0.077 3、0.042 6、0.060 5，相对提升11.40%、5.90%、8.65%.

该模型有助于提升情感分析准确率可归结为以下3点：1)基于社会学理论，充分挖掘社交网络的隐含关系，通过社交关系添加标签数量，使得大量的无标签文本得以利用; 2)在社交关系基础上，通过文本相似度进行补充校正，进一步提高标签添加的准确率; 3)基于深度学习，通过CNN算法，实现对文本语义和标签联系的深层次挖掘，解决短文本自身特点导致的问题.因此，与SS-SVM模型和CNN模型相比，本文提出的基于用户关联度的半监督情感分析模型不仅提高情感分析准确率，改善社交媒体短文本的情感分析性能，也证明了深度学习和社交网络相结合的方法在未来自然语言处理领域的可行性与重要价值.同时，本文提出的SA-SRS-CNN模型也存在一些不足：1)建立用户关联度模型需要大量的用户关系数据，在一些用户关系不易获取或者用户间关系较少的情况下，用户关联度矩阵A过于稀疏，能够添加标签数目较少，并且增加了计算复杂度; 2)越来越多的用户在发表评论时使用颜文字等由符号构成的表情传递情感，本文提出的SA-SRS-CNN模型并未对这类表情进行处理，忽视了部分情感信息.