第三章 基於卷積神經網（CNN）的圖像情感識別

3.1 引言

由上文可知深度學習CNN模型能夠很好的解決分類問題，因此將圖像的情感識別問題看作一個圖像分類問題，結合上文提到IAPS中將情感劃分為八類通過整合大致可將情感分為兩個大類即積極情感與消極情感，首先通過人為辨識，將已有圖片樣本按類標注后形成樣本，採用卷積神經網絡進行樣本訓練，最終便可以得到一個准確率較高的模型進行遷移學習以適用於更多圖像數據。

本文希望通過使用最終訓練得到模型對圖片進行情感識別並完成進一步研究。本文採用的數據集暫時將圖片數據粗略的分為上述兩大類分別是積極情感（快樂、敬畏、滿足、興奮）和消極情感（生氣、惡心、恐懼、悲傷）。如圖2所示：

3.2 基於CNN的圖像情感識別整體框架

本文將採用類似VGG的卷積神經網絡來完成樣本訓練，該神經網絡結構如圖3所示：

由圖3結構可知，最終將訓練圖片得到的全部特征經過回歸函數（softmax函數）處理便可以得到該圖片所屬各類型概率，通過判定最大值即可確定圖片最終歸屬類。

本文採用的樣本集包括公共數據集的500張圖片，其中積極情感圖片250張，消極情感圖片250張，結合文獻[13]中証明能夠通過對圖像進行縮放、平移、旋轉、加噪、鏡像、裁剪、亮度變化等變換造出新的數據，適當增加其數據量，本文在訓練前也對樣本進行了相似的預處理操作包括圖像尺度歸一化（為了CNN方便處理）、翻轉、旋轉等以擴充數據樣本。同時又從網上獲取了一定量的圖片數據，採用人工標注的方法加入樣本集中一並訓練。

具體算法如表1所示：

3.3 實驗結果與分析

經過20輪次訓練，可以看到准確率基本趨於穩定，最終實現結果如圖4所示：

通過圖4中准確率的變化可以看到最終准確率能夠達到84.89%，從樣本集實際情況考慮，目前樣本集數量較小，內容較單一，因此對於當前能夠達到的准確率已經是一個較好的結果。

第四章 圖像情感識別應用

由上文可知，本文通過CNN訓練得到了一個圖像情感識別的模型，考慮到新聞媒體行業大量的使用圖片，並且通過閱讀量能夠直觀的反應新聞的接收程度，並且作者希望的感情表達能夠通過新聞標題、內容等有效的反應，這樣能夠很好的輔証圖像情感模型的准確性，並且能夠客觀反應新聞圖像的情感是否符合作者的預期。因此，為了解決上述問題，本文將進一步完成實驗分析。

4.1 驗証試驗過程

本文運用網絡爬虫技術，隨機獲取了150篇含有圖片的新聞報道進行分析對比。該數據包括新聞的標題、內容、圖像以及閱讀量。

針對獲取到的新聞數據，本文做了簡單的實驗：

首先，通過閱讀新聞報道文字內容（不含圖片），運用人工標注的方法將報道內容分為積極情緒和消極情緒兩類，比如將“開放、透明、周到外媒點贊十九大新聞中心”劃分為積極情緒，將“越南連日暴雨引發洪水泥石流：72人死亡近5萬所房屋被毀”劃分為消極情緒等。如圖5所示：

其次，將報道圖片單獨取出，讓多人觀看並分類標注，匯總多人標注結果並統計整理，得出圖片所屬大致類別。

最后，使用上述生成的模型，觀察報道圖片並進行分類。

4.2 實驗結果與分析

通過對實驗結果數據統計匯總進行可視化分析，我們可以看到如圖6所示結果：

由上圖並結合機器標注數據可知，機器識別與人工識別基本相符合，准確率能夠達到86.2%，但是整篇新聞報道中圖像情感與文字情感符合度較低，相符程度隻能達到59.7%，由此可以看出，新聞編輯中圖片的選取可能更重視圖片內容本身，而不太關注圖像情感信息與報道本身所要表達的情感是否相符。同時，我們可以從爬取的新聞數據中觀察到另外一組對比信息，如圖7所示：

由上圖分析得出，新聞圖像情感與文字報道情感吻合度與新聞報道的閱讀量正相關，這也可以反映出圖像情感對於新聞報道的重要性。

綜上所述，通過應用深度學習的方法能夠較為准確的分析出圖像情感是否符合新聞本身所體現的情感。

總結與展望

由本項目可知，新聞報道本身對於圖像情感關注較少，而圖像情感本身對於提升新聞報道的客觀性，提高圖片與新聞事件情感色彩的符合度以及避免新聞報道對大眾產生情感誘導具有重要意義，也對新聞報道閱讀量提升有一定作用，而應用深度學習能夠很好識別圖像情感並加以輔助決策，能夠有效的幫助從業者更好的選取報道圖片。

人民網作為主流新聞傳播媒體，肩負著真實、准確、全面、客觀傳播新聞消息，以及引領時代堅持正確輿論導向，傳遞正確價值理念的社會責任。因此新聞報道中需要注重的不光是文字的准確客觀，還應該從閱讀者心理出發，考慮到圖像情感對閱讀者心理帶來的影響，盡可能提升讀者的閱讀體驗。

當然本文只是利用一個簡單的數據集訓練得出一個相對簡單的圖像情感識別模型，並且參與數據標注的人員背景相對單一，因此在接下來的工作中可以將數據集規模和參與人員范圍擴大，並且將分類細化達到上文提到的八個子類或者更多，這樣可能會達到一個更為准確的結果。隨著深度學習技術的應用領域不斷擴大，我們看到文獻[14-16]所寫到的圖像風格遷移和文獻[17]中圖像自動生成的方法，都能夠很好的應用於新聞圖像情感處理。在可以預見的將來，新聞圖像的情感識別問題會達到根據報道本身出發，通過深度學習判定並自動對圖像做出風格調整以適配文章情感。這樣不僅能夠使報道更加豐富，而且能夠進一步擴大閱讀群體，提升報道的傳播范圍。

分享讓更多人看到