第三章 基于卷积神经网（CNN）的图像情感识别

3.1 引言

由上文可知深度学习CNN模型能够很好的解决分类问题，因此将图像的情感识别问题看作一个图像分类问题，结合上文提到IAPS中将情感划分为八类通过整合大致可将情感分为两个大类即积极情感与消极情感，首先通过人为辨识，将已有图片样本按类标注后形成样本，采用卷积神经网络进行样本训练，最终便可以得到一个准确率较高的模型进行迁移学习以适用于更多图像数据。

本文希望通过使用最终训练得到模型对图片进行情感识别并完成进一步研究。本文采用的数据集暂时将图片数据粗略的分为上述两大类分别是积极情感（快乐、敬畏、满足、兴奋）和消极情感（生气、恶心、恐惧、悲伤）。如图2所示：

3.2 基于CNN的图像情感识别整体框架

本文将采用类似VGG的卷积神经网络来完成样本训练，该神经网络结构如图3所示：

由图3结构可知，最终将训练图片得到的全部特征经过回归函数（softmax函数）处理便可以得到该图片所属各类型概率，通过判定最大值即可确定图片最终归属类。

本文采用的样本集包括公共数据集的500张图片，其中积极情感图片250张，消极情感图片250张，结合文献[13]中证明能够通过对图像进行缩放、平移、旋转、加噪、镜像、裁剪、亮度变化等变换造出新的数据，适当增加其数据量，本文在训练前也对样本进行了相似的预处理操作包括图像尺度归一化（为了CNN方便处理）、翻转、旋转等以扩充数据样本。同时又从网上获取了一定量的图片数据，采用人工标注的方法加入样本集中一并训练。

具体算法如表1所示：

3.3 实验结果与分析

经过20轮次训练，可以看到准确率基本趋于稳定，最终实现结果如图4所示：

通过图4中准确率的变化可以看到最终准确率能够达到84.89%，从样本集实际情况考虑，目前样本集数量较小，内容较单一，因此对于当前能够达到的准确率已经是一个较好的结果。

第四章 图像情感识别应用

由上文可知，本文通过CNN训练得到了一个图像情感识别的模型，考虑到新闻媒体行业大量的使用图片，并且通过阅读量能够直观的反应新闻的接收程度，并且作者希望的感情表达能够通过新闻标题、内容等有效的反应，这样能够很好的辅证图像情感模型的准确性，并且能够客观反应新闻图像的情感是否符合作者的预期。因此，为了解决上述问题，本文将进一步完成实验分析。

4.1 验证试验过程

本文运用网络爬虫技术，随机获取了150篇含有图片的新闻报道进行分析对比。该数据包括新闻的标题、内容、图像以及阅读量。

针对获取到的新闻数据，本文做了简单的实验：

首先，通过阅读新闻报道文字内容（不含图片），运用人工标注的方法将报道内容分为积极情绪和消极情绪两类，比如将“开放、透明、周到外媒点赞十九大新闻中心”划分为积极情绪，将“越南连日暴雨引发洪水泥石流：72人死亡近5万所房屋被毁”划分为消极情绪等。如图5所示：

其次，将报道图片单独取出，让多人观看并分类标注，汇总多人标注结果并统计整理，得出图片所属大致类别。

最后，使用上述生成的模型，观察报道图片并进行分类。

4.2 实验结果与分析

通过对实验结果数据统计汇总进行可视化分析，我们可以看到如图6所示结果：

由上图并结合机器标注数据可知，机器识别与人工识别基本相符合，准确率能够达到86.2%，但是整篇新闻报道中图像情感与文字情感符合度较低，相符程度只能达到59.7%，由此可以看出，新闻编辑中图片的选取可能更重视图片内容本身，而不太关注图像情感信息与报道本身所要表达的情感是否相符。同时，我们可以从爬取的新闻数据中观察到另外一组对比信息，如图7所示：

由上图分析得出，新闻图像情感与文字报道情感吻合度与新闻报道的阅读量正相关，这也可以反映出图像情感对于新闻报道的重要性。

综上所述，通过应用深度学习的方法能够较为准确的分析出图像情感是否符合新闻本身所体现的情感。

总结与展望

由本项目可知，新闻报道本身对于图像情感关注较少，而图像情感本身对于提升新闻报道的客观性，提高图片与新闻事件情感色彩的符合度以及避免新闻报道对大众产生情感诱导具有重要意义，也对新闻报道阅读量提升有一定作用，而应用深度学习能够很好识别图像情感并加以辅助决策，能够有效的帮助从业者更好的选取报道图片。

人民网作为主流新闻传播媒体，肩负着真实、准确、全面、客观传播新闻消息，以及引领时代坚持正确舆论导向，传递正确价值理念的社会责任。因此新闻报道中需要注重的不光是文字的准确客观，还应该从阅读者心理出发，考虑到图像情感对阅读者心理带来的影响，尽可能提升读者的阅读体验。

当然本文只是利用一个简单的数据集训练得出一个相对简单的图像情感识别模型，并且参与数据标注的人员背景相对单一，因此在接下来的工作中可以将数据集规模和参与人员范围扩大，并且将分类细化达到上文提到的八个子类或者更多，这样可能会达到一个更为准确的结果。随着深度学习技术的应用领域不断扩大，我们看到文献[14-16]所写到的图像风格迁移和文献[17]中图像自动生成的方法，都能够很好的应用于新闻图像情感处理。在可以预见的将来，新闻图像的情感识别问题会达到根据报道本身出发，通过深度学习判定并自动对图像做出风格调整以适配文章情感。这样不仅能够使报道更加丰富，而且能够进一步扩大阅读群体，提升报道的传播范围。

分享让更多人看到