深度學習在圖像取證中的進展與趨勢

圖像取證

在當今飛速發展的信息時代，數字圖像已經滲透到社會生活的每一個角落，數字圖像的廣泛使用也促進了數字圖像編輯軟件的開發與應用，例如：Adobe Photoshop、CorelDRAW、美圖秀秀等等。利用這些編輯工具，用戶可以隨意對圖像進行修改，從而達到更好的視覺效果。然而，在方便了用戶的同時，也給一些不法分子以可乘之機。在未經授權的情況下，不法分子對圖像內容進行非法操作，如違規編輯、合成虛假圖像等，從而造成篡改圖像在人們社會生活中泛濫成災。圖像取證技術就是在這樣的背景下提出，旨在通過盲分析手段認證圖像數據的原始性和真實性、鑒別和分析圖像所經歷的操作處理及估計圖像的操作歷史[1]。

數字圖像的完整周期包含三個部分[2]：圖像獲取、圖像編碼、圖像編輯，如圖1所示。在圖像獲取過程中，真實場景中的光線通過相機鏡頭投射到相機傳感器（如CCD或者CMOS傳感器），產生數字圖像信號。在投射到相機傳感器之前，通常光首先經過CFA濾波處理，即每個像素點只會包含一種主要的顏色分量（紅、綠、藍）。在相機傳感器之后會進行CFA差值(也稱去馬賽克處理）從而獲取每個像素點的紅綠藍三通道分量。然后獲取的數字圖像信號會經歷相機內部的軟件處理，比如白平衡、對比度增強、圖像銳化、伽馬矯正等等。在圖像編碼部分，經過處理后的數字圖像信號為了節省相機內存通常會經過有失真壓縮處理，最常見的壓縮方式為JPEG壓縮。部分壓縮后的數字圖像為了獲得更好的視覺效果會進行后處理操作，任何的圖像編輯都可以應用在后處理操作，經常使用的編輯為：幾何變換（旋轉、縮放等）、模糊、銳化、對比度調整、圖像拼接、復制-粘貼。經過編輯后的數字圖像重新保存為JPEG格式形成最終的數字圖像。

數字圖像取證的出發點是通過提取數字圖像周期中留下的固有痕跡進行分析和理解數字圖像的操作歷史。以上介紹的數字圖像完整周期的三個部分每一部分都會留下不同的操作痕跡（指紋特性），即獲取指紋、編碼指紋、編輯指紋。在圖像獲取指紋研究中，根據鏡頭特性、傳感器特性、CFA模式等引入數字圖像中的不同指紋特性對數字圖像進行分析。在圖像編碼指紋研究中，JPEG壓縮以及多重JPEG壓縮檢測是主要關注的問題。在圖像編輯指紋特性研究中，基于信號處理和基于物理/幾何的技術被提出。利用信號處理技術進行復制粘貼檢測、重采樣檢測、對比度增強檢測、線裁剪檢測等，利用光線/陰影進行拼接檢測以及利用幾何關系的一致性檢測拼接處理都是取證研究中的熱點問題。

圖像取證深度學習之風

不同與傳統的圖像取證算法，深度學習算法將特征提取和特征分類整合到一個網絡結構中，實現了一種end-to-end的自動特征學習分類的有效算法。從當前的研究工作來看，深度學習應用于圖像取證領域大致可分為三個層次。第一個層次是簡單的遷移，即直接將CV領域常用的CNN網絡結構引入到圖像取證領域。取證領域比較常用的網絡結構為AlexNet，選擇此網絡結構的原因是因為AlexNet網絡結構相較于其他網絡結構復雜度相對較低并且性能較好，對于解決數據集少的取證問題有更好的嘗試性條件。典型案例為Luca Baroffio, Luca Bond等[3]發表的文章“Camera Identification With Deep Convolutional Networks”, 文章提出用深度學習解決取證中的相機源辨別問題。第二個層次是嘗試對網絡輸入的修改，進行此種嘗試的初衷是由取證問題和CV問題的本質區別所驅使。取證問題雖可歸類于識別、分類、定位問題，但是對于分類問題的類間差別取證分類問題遠小于CV分類問題。舉個例子：ImageNet中的22000種類別之間的形態差異是較大的，比如貓和狗兩個類別之間的差異人眼可辨別；然而對于取證問題，類別之間的形態差異是極其微小的，類間差別以微弱信號的形式存在；比如對于常見的雙重JPEG壓縮取證，需要解決的問題是區分一副圖像是經歷過一次JPEG壓縮之后的圖像，還是經歷過兩次JPEG壓縮之后的圖像。在兩次壓縮使用的壓縮因子（壓縮因子小于等于90）一致的前提條件下，內容相同的兩幅圖像的DCT域統計類間差別小于0.4%（數據來源于Detecting Double JPEG Compression With the Same Quantization Matrix[4]）。基于取證問題的此種特性，研究者嘗試對網絡的輸入進行改進，添加預處理層（或信號增強層）放大類間差別，此種嘗試取得較好的檢測效果。典型案例為Jiansheng Chen, Xiangui Kang等[5]發表的文章“Median Filtering Forensics Based on Convolutional Neural Networks”，根據論文報告的試驗結果，預處理層的添加對檢測準確率有了7.22個百分點的提升。第三個層次是對網絡結構的修改，結合取證的實際問題提出適合于取證問題的網絡結構。典型案例為Belhassen Bayar, Matthew C. Stamm[6]發表的文章“A Deep Learning Approach To Universal Image Manipulation Detection Using A New Convolutional Layer”。

下面針對于不同的取證問題介紹深度學習的應用。據我們所知，到目前為止，深度學習應用于取證領域的工作共有5篇，涉及到了取證問題中的相機源取證、中值濾波取證、重獲取圖像取證以及反反取證。

2.1 相機源取證

相機源取證研究的問題在于如何有效區分圖像采集所使用的設備型號或模式，相機源取證可以在一定程度上解決圖像版權問題，例如一副具有版權保護的圖像未經過作者授權被重新拍攝并發布，可以利用相機源取證技術區分圖像是由原始相機拍攝還是其他相機拍攝，從而判斷圖像版權所屬。

不同廠商生產的數碼相機之間存在著差異，相同廠商生產的不同型號的數碼相機之間也存在著差異，已有的傳統方案通過提取不同的相機存在的指紋特性實現對相機源的取證。Luca Baroffio, Luca Bond等人首次提出利用卷積神經網絡的方法解決相機源取證問題。文章所使用的網絡結構參數如圖2所示。該結構使用了三個卷積層和兩個全連接層的結構，網絡結構與AlexNet結構相似。根據文章報告的實驗結果，在相機源取證的benchmark庫中測試，對于27種相機模式分類的準確率在94%以上。

2.2 中值濾波圖像取證

中值濾波圖像取證問題一直被圖像取證領域所關注，取證目的是對圖像是否經歷過中值濾波操作進行判定。在圖像經過篡改之后，為了去除篡改引入圖像中的特性，通常會對圖像進行中值濾波操作，從而隱藏篡改操作痕跡。圖像是否經歷過中值濾波操作對于判斷圖像篡改歷史提供了重要線索。傳統的圖像中值濾波取證算法對于小尺寸圖像和做過壓縮后處理的圖像性能有待提高。

Jiansheng Chen, Xiangui Kang等人首次提出利用深度學習解決中值濾波取證問題，該工作發表在Signal Processing Letters IEEE, 2015。與此同時，這也是深度學習應用在取證領域的第一個工作，為后續深度學習在取證領域的發展起到了重要的借鑒作用。該工作對網絡的輸入圖像做了預處理操作

x ( i , j )表示原始圖像， medw(.)表示中值濾波操作，其中中值濾波窗口大小為 w , d ( i , j )， 代表中值濾波圖像與原始圖像的差值圖像。做這樣預處理的動機來源于之前傳統方案的設計[7]。通過預處理操作，去除圖像內容對檢測性能的影響同時也起到了放大圖像噪聲信號的作用。預處理操作的效果圖如圖3所示，(a)(b)(c)三幅圖像分布代表原始圖像，差值圖像以及中值濾波與原始圖像的差值圖像。從圖3(c)中可以看出中值濾波后的差值圖像中對原始圖像內容的反映幾乎去除。

圖4中展示了該工作提出的網絡結構示意圖。濾波層實現的是式(1)的操作，緊接著的網絡結構與AlexNet結構類似，5個卷積層以及3個全連接層。根據文章中報告的實驗結果，對于壓縮的小尺寸圖像（64x64、32x32）該方法實現了最好的檢測準確率。為了測試濾波層的作用，作者在使用濾波層和不使用兩種情況下進行了對比實驗，實驗結果顯示濾波層對于檢測準確率有7.22個百分點的提升。

基于Jiansheng Chen, Xiangui Kang等人的工作，Belhassen Bayar，Matthew C. Stamm[6]提出一種新的卷積結構。作者嘗試利用新的卷積結構捕獲圖像操作過程中引入的圖像臨近像素之間相關關系的變化，于此同時盡可能壓縮圖像內容對于圖像操作引入的像素相關關系的影響。為了實現這樣的卷積結構設計，作者對卷積核的屬性進行了限制，使得網絡結構可以自動學習預測誤差濾波器集合，從而抑制圖像內容的影響同時捕獲操作特性。限制條件如公式（2）所示：

w 為新的卷積核， w (0,0)為卷積核中心位置的數值。新的卷積結構只使用在第一層卷積中，從而實現圖像預處理卷積核的自動學習。圖5、圖6分別展示了新的卷積結構和文章提出的網絡結構圖。

2.3 重獲取圖像取證

重獲取圖像取證近幾年開始受到取證工作者的關注。重獲取操作是指原始圖像被投影到新的媒介后被再次獲取的過程。圖7展示了常見的圖像重獲取操作流程。原始圖像首先被投影到新得到媒介：電腦屏幕、手機屏幕、打印紙，然后對投影后的圖像進行重新拍攝，形成重獲取圖像。

重獲取圖像取證有重要的研究價值，對于篡改操作后的圖像通常會在圖像中留下指紋性的操作痕跡，消除這些痕跡的最簡單的方式就是對篡改后的圖像進行重新獲取。因其操作的簡易性被很多篡改者使用。重獲取圖像取證通過辨別圖像是否經過重獲取操作對圖像操作歷史的鑒別具有重要意義。另一方面，隨著人臉識別身份系統的快速發展和廣泛使用，一些不法分子試圖通過一些手段欺騙身份識別系統，活體檢測技術的使用為身份識別系統提供了一層保障，然后face2face系統的推出又為活體檢測提出了挑戰。重獲取圖像取證作為一種新的技術手段可以有效地增強身份識別系統的魯棒性。

基于深度學習的方法，我們[8]提出了一種拉普拉斯卷積神經網絡算法檢測重獲取圖像。網絡結構如圖8所示，對于輸入圖像我們首先利用信號增強層放大重獲取噪聲信號，然后利用5個卷積層進行特征提取，最后使用全連接層作為特征分類層。我們提出的算法在不同尺寸的圖像庫上實現了95%以上的檢測性能。

2.4 反反取證

Jingjing Yu, Xiangui Kang等[9]將卷積神經網絡應用在多類反反取證問題上。隨著取證技術的發展，對抗取證的研究也隨之興起，稱為反取證研究。反取證是針對于特定的取證技術提出使其失效的算法。該工作是針對于多種反取證算法進行取證，故而稱為反反取證。文章提出的網絡結構如下所示，四層卷積結構以及兩層全連接結構。文章關注了四類反取證問題：JPEG壓縮、中值濾波、重采樣、對比度增強，根據文章報告的實驗結果，平均檢測準確率達到了96.9%。

2.5 隱寫分析

把隱寫分析列在這里，是因為隱寫分析與取證領域存在極深的淵源。兩者雖需要解決的具體問題不同，但是方法論本質上具有一致性，都是探尋微弱“噪聲”信號的存在。隱寫分析領域和圖像取證領域的發展是相輔相成的，兩者針對各自領域提出的有效算法通常在彼領域也能得到很好的應用。比如隱寫分析領域常用的Rich Models、SPM算法都被應用于取證領域并取得了state-of-the-art的檢測性能。

隱寫分析是針對隱寫問題發展而來的一種技術手段，目的是檢測目標中是否包含隱藏信息。待檢測目標中嵌入隱藏信息的比特率越低，意味著隱藏信息量越少，檢測難度越大。傳統的隱寫分析都是基于特征提取加特征分類的兩段論方案，為了更全面的刻畫待測目標中的“微弱”信號，維度不斷增加的高維特征被提出，例如Rich Models特征。特征分類方面為了加速高維隱寫特征的分類，Fridrich課題組提出了針對隱寫分析的特定分類器，集成分類器[10]。深度學習的發展為隱寫分析提供了一種新的思路。Qian Y, Dong J等[11]首次將深度學習算法應用于隱寫分析領域，并基于隱寫分析的領域知識提出高斯激活函數，取得了和傳統方案性能相當的檢測效果；Guanshuo Xu, Yun-Qing Shi等[12]設計了一種新的網絡結構，在網絡結構中添加了絕對值層、BN層和全局pooling層，也取得了較好的檢測效果。基于以上工作，兩者又相繼推出了后續工作。Qian Y, Dong J等[13,14]融合遷移學習的方法進一步提高了算法性能；Guanshuo Xu, Yun-Qing Shi等[15]提出了基于集成學習和集成分類的方案。

圖像取證深度學習之風何去何從

如今深度學習的如火如荼讓各行各業的同胞摩拳擦掌。就取證領域而言，深度學習的探索之旅還處于小荷才露尖尖角的狀態。如施云慶教授在IWDW2016中的談話所言：“深度學習在取證領域中的進步相較于計算機視覺領域是很小的，如何進一步提升深度學習在取證中的檢測性能仍然值得關注”。另外，取證領域的數據集規模相對于計算機視覺領域較小，對于數據驅動型的深度學習算法，更大規模的公開的全面的精確標注的數據集對于圖像取證問題無疑是迫切需要的。

這段時間本文作者經過一些探索也取得了一些心得，在此和大家一起探討。首先就網絡的深度而言，淺層的網絡結構已然可以得到較好的實驗結果。當然網絡的加深會對實驗結果略有提升，但是并不能和增加層數帶來的計算復雜度的提升成比例。其次，預處理操作并不是對于所有取證問題都適用，預處理操作在放大噪聲信號的同時也相應的丟失了部分原始信息，對于深度學習數據驅動型算法而言，這些丟失的原始信息對于算法性能的影響比重如何暫時還無定論，所以預處理操作添加與否還需具體情況具體分析。

目前基于深度學習的圖像取證研究還有許多問題需要去解決，更多的路需要去探索，本文作者歡迎讀者的任何意見或者建議，并期待和大家一起探討。

參考文獻

[1] 曹剛. 數字圖像操作取證技術研究[D]. 北京交通大學, 2013.

[2] Piva A. An Overview on Image Forensics[J]. Isrn Signal Processing, 2013.

[3] Baroffio L, Bondi L, Bestagini P, et al. Camera identification with deep convolutional networks[J]. 2016.

[4] Huang F, Huang J, Shi Y Q. Detecting Double JPEG Compression With the Same Quantization Matrix[J]. IEEE Transactions on Information Forensics & Security, 2010.

[5] Chen J, Kang X, Liu Y, et al. Median Filtering Forensics Based on Convolutional Neural Networks[J]. Signal Processing Letters IEEE, 2015

[6] Bayar B, Stamm M C. A Deep Learning Approach to Universal Image Manipulation Detection Using a New Convolutional Layer[C]// ACM Workshop on Information Hiding and Multimedia Security. ACM, 2016.

[7] Kang X, Stamm M C, Peng A, et al. Robust Median Filtering Forensics Using an Autoregressive Model[J]. IEEE Transactions on Information Forensics & Security, 2013.

[8] Peng P Y, Rong R N, Yao Z. Recapture Image Forensics Based On Laplacian Convolutional Neural Networks[C]// International Workshop on Digital-forensics and Watermaking, 2016

[9] Jing J Y, Yi F Z, Jian H Y, et al. A Multi-purpose Image Counter-anti-forensic Method Using Convolutional Neural Networks[C] // International Workshop on Digital-forensics and Watermaking, 2016

[10] Kodovsky J, Fridrich J, Holub V. Ensemble Classifiers for Steganalysis of Digital Media[J]. IEEE Transactions on Information Forensics & Security, 2012

[11] Qian Y, Dong J, Wang W, et al. Deep learning for steganalysis via convolutional neural networks[C]//SPIE/IS&T Electronic Imaging. International Society for Optics and Photonics, 2015

[12] Xu G, Wu H Z, Shi Y Q. Structural Design of Convolutional Neural Networks for Steganalysis[J]. IEEE Signal Processing Letters, 2016

[13] Qian Y, Dong J, Wang W, et al. Learning Representations for Steganalysis from Regularized CNN Model with Auxiliary Tasks[C]//Proceedings of the 2015 International Conference on Communications, Signal Processing, and Systems. Springer Berlin Heidelberg, 2016

[14] Qian Y, Dong J, Wang W, et al. Learning and transferring representations for image steganalysis using convolutional neural network[C]//Image Processing (ICIP), 2016 IEEE International Conference on. IEEE, 2016

[15] Xu G, Wu H Z, Shi Y Q. Ensemble of CNNs for Steganalysis: An Empirical Study[C]//Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security. ACM, 2016

 

 

來自：https://zhuanlan.zhihu.com/p/23341157