前言
由數碼相機拍攝的自然影象（Photographic, PG）能夠準確、客觀地記錄現實生活中的場景，是視覺資訊的重要載體。在我們的日常生活中，自然影象常被用於新聞的準確傳播和證據的有效記錄。計算機生成影象（Computer-generated, CG）具有很強的藝術性和現實感，廣泛應用於影音娛樂活動中。近期，由於計算機渲染技術和生成對抗網路(generative adversarial networks, GAN)的快速發展，計算機生成影象的質量越來越高也越來越逼真，與相機拍攝獲取的真實影象之間的區別越來越小（如圖1）。高質量CG影象一旦被惡意使用，將會帶來嚴重的資訊保安隱患，對現代社會如何看待證據和信任產生巨大影響，例如，利用逼真的CG影象製造的虛假新聞可能會引起群眾恐慌等。因此，研究計算機生成（CG）影象鑑別方法具有重要意義。
圖1：自然影象（PG）和計算機生成影象（CG）
01
計算機生成影象資料集
近期，人民中科與中科院自動化所聯合團隊構建了一個包含14萬張圖片的大規模計算機生成影象資料集（Large-Scale CG images Benchmark, NLPR-LSCGB）。相比於現有資料集，NLPR-LSCGB影象資料集具有三方面優勢：
1)資料規模方面：已有資料集規模較小，使得鑑別演算法容易出現過擬合現象，NLPR-LSCGB資料集包含71168張生成影象和71168 張自然影象，比以往的資料集大一個數量級。資料集規模的對比如圖2(a)所示。
2)多樣性方面：已有資料集中CG影象主要來自於單一的3D圖形渲染技術，隨著計算機渲染技術和生成對抗網路的發展，單一的資料來源及場景難以反映實際應用中遇到的生成影象。為了保障資料集的多樣性，我們從245種不同的場景中收集不同的渲染技術生成的計算機影象。
3)類別偏差方面：圖2(b)-(d)展示該資料集中生成影象和自然影象在顏色、亮度、色調和飽和度分佈上都非常接近，說明資料集中的兩類影象在基本影象屬性上具有相近的分佈，減少無關變數對於所訓練模型的干擾。圖3展示了資料集中的部分CG影象。
圖2：NLPR-LSCGB資料集統計特徵。(a)NLPR-LSCGB資料集與已有資料集規模大小對比。(b)(c)(d)生成影象和自然影象在色調、飽和度、亮度上的分佈直方圖對比
圖3：計算機生成影象（CG）
02
計算機生成影象鑑別模型
基於該資料集，透過大量實驗發現，自然影象和計算機生成影象區別存在於影象的紋理細節中。我們首先透過灰度共生矩陣對生成影象和自然影象進行紋理建模，並提取差異性統計量（dissimilarity）對二者的區別進行定量分析。生成影象在計算機生成的過程中，常常只能計算一定範圍內的畫素相似性，難以完全模擬出自然拍攝影象特有的豐富紋理，表1反映自然影象差異性統計量在不同距離尺度上均大於生成影象，說明自然影象在不同尺度上具有更強的紋理對比度，印證了生成影象和自然影象在紋理上存在統計意義上的差別。
表1 生成影象和自然影象在不同尺度上的差異性統計量對比
基於該發現，我們進一步提出了一種多尺度紋理感知的計算機生成影象鑑別模型（圖4）。該模型首先基於影象特徵之間的相關性進行紋理增強，再透過GRAM矩陣進一步提取紋理特徵，然後將多個紋理提取模組應用於特徵提取網路的不同層以提取多尺度紋理特徵。最後基於多尺度紋理特徵進行計算機生成影象的判別。
圖4：多尺度紋理感知模型
03
驗證結果
為了驗證演算法的有效性，我們在已有資料集及提出的NLPR-LSCGB上與現有的鑑別演算法進行對比。表2展示不同演算法在不同資料集上的鑑別準確率，已有資料集（Rahmouni、Columbia、Tokuda、SPL），我們的方法準確率超過96%，均優於其他已有演算法。在難度更大的NLPR-LSCGB資料集上，我們的方法準確率仍然能夠達到91.45%，充分體現演算法的有效性。
表2 不同演算法在不同資料集上的鑑別準確率
實際應用場景中，影象往往經過不同程度的擾動或者後處理，因此，生成影象鑑別演算法的魯棒性同樣是一項重要需求。我們測試了鑑別演算法的鑑別準確率與各種擾動強度的關係，包括JPEG壓縮、縮放、均值濾波、高斯噪聲等，表3展示魯棒性實驗結果。所有方法在影象受到干擾的情況下均出現了鑑別效能的下降，但是我們的演算法在多種干擾下仍然表現出優於其他演算法的鑑別能力。在多個場景下達到85%以上的準確率（JPEG90：86.02%，Upscale20%：89.01%，Downscale20%：87.76%，Noise：85.76%），展現該演算法較好的魯棒性。
表3 魯棒性實驗結果
相關工作Robust Texture-aware Computer-generated Image Forensic: Benchmark and Algorithm於2021年10月發表於IEEE Transactions on Image Processing（TIP）期刊。
論文連結：
https://ieeexplore.ieee.org/abstract/document/9559870
資料庫連結：
https://github.com/wmbai/LSCGB
免責宣告：文章及圖片轉載自人民中科，版權歸原作者和原出處所有，所發內容僅作分享之用，不代表本平臺立場。有事請聯絡人民產經觀察郵箱[email protected]
