歡迎登錄中國視覺網!
應用案例頻道
APPLICATION OF CASE
位置導航:首頁 >> 應用案例 >> 應用案例 >> 多模態PCANet:一種高精度、低復雜度的魯棒3D活體檢測方案 ——基于ToF的3D活體檢測算法研究

多模態PCANet:一種高精度、低復雜度的魯棒3D活體檢測方案 ——基于ToF的3D活體檢測算法研究


時間:2020-05-28

應用領域:機器視覺


   當下正值新冠肺炎(COVID-19)肆虐全球之際,戴口罩成為了全民阻斷病毒傳播的最佳方式。然而在人臉部分遮擋或惡劣光照條件下,用戶人臉識別或人臉認證的合法訪問常常提示活體檢測失敗,甚至根本檢測不到人臉。這是由于目前基于RGB等2D空間的主流活體檢測方案未考慮光照、遮擋等干擾因素對于檢測的影響,而且存在計算量大的缺點。而數跡智能團隊研發的3DSmartToF活體檢測方案則可以有效解決此問題。那么什么是活體檢測?什么又是3D活體檢測?以及怎么實現惡劣環境(如人臉遮擋、惡劣光照等)與人臉多姿態變化(如側臉、表情等)應用場景下的活體檢測呢?本文將會圍繞這些問題,介紹數跡智能的最新成果——基于ToF的3D活體檢測算法。

1. 什么是活體檢測?

   根據IEEE首個生物特征活體檢測國際標準[26]定義,生物特征識別系統捕獲訪問對象并自動檢測呈現攻擊(Presentation Attack, PA)的過程統稱為攻擊檢測(Presentation Attack Detection, PAD),又稱為活體檢測。

人臉活體檢測作為人臉識別技術的先決條件,對保障人臉識別系統的安全性具有重大意義。本文討論的呈現攻擊僅限與關于人臉的非活體呈現攻擊,如照片、回放視頻以及人臉面具等。

2.活體檢測研究現狀

   根據活體檢測國際標準[26],基于對象的人臉活體檢測方法可分為被動檢測與主動檢測。主動檢測通常需要用戶根據指令完成規定動作,根據連續幀動作完成情況判斷是否為活體,操作繁瑣且耗時較長,用戶體驗感較差;而被動檢測通過對單幀人臉圖像判斷是否為活體,以其自然性、實時性,更適用于不同應用場景。

   本文針對被動活體檢測任務,根據人臉圖像數據維度分作2D活體檢測、偽3D活體檢測以及3D活體檢測。3D活體檢測是指利用雙目、結構光、ToF相機,獲得點云圖或深度圖等3D空間結構信息進行活體檢測的統稱。接下來將對每一類活體檢測進行簡單介紹與總結。

圖2-1活體檢測算法分類

2.1 2D活體檢測

   2D活體檢測未利用任何的空間結構信息,現存的2D活體檢測算法包括基于傳統的特征提取與基于深度學習方法。傳統的特征提取方法包括特征描述子如局部二值模式(LBP)[1]、梯度方向直方圖(HOG)[3]、灰度共生矩陣(GLCM)[4]等,以及利用圖像失真[8]分析活體與非活體之間的差異性;傳統算法根據活體與欺騙攻擊的差異來設計特征,最后通過分類器決策;基于深度學習方法則是使用卷積神經網絡將低階特征(像素、紋理、方向等)逐層編碼,獲取圖像的高階表示。

   在算法復雜度層面,傳統的算法復雜度低但準確率相對較低。針對手動設計的差異如紋理、顏色等,在樣本自身或者外部因素發生變化時,算法性能受到極大的影響,算法自身的泛化性和魯棒性較差。如Schwartz等[4]利用灰度共生矩陣(GLCM)表征人臉圖像灰度空間內方向、變換快慢和幅度的綜合信息。基于深度學習算法的復雜度和準確率相對較高,Yang等[10]利用卷積神經網絡(CNN)進行端到端的有監督學習,將活體檢測當做一個二分類任務,自動提取圖像特征,并直接用參數表達。與傳統方法不同的是,深度學習算法的特征理解具有不可解釋性,但是其自適應特征提取過程在一定程度上增強活體檢測算法的泛化性能。同時深度神經網絡也存在的過擬合、梯度消失、梯度爆炸等一系列問題。

2.2 偽3D活體檢測

   偽3D活體檢測指基于RGB圖像使用深度估計算法間接得到空間結構信息的活體檢測算法。Wang等[15]從RGB圖像中恢復稀疏的3D面部結構以進行活體檢測,這也是首次將估計的3D結構信息用于活體檢測。Atoum等[16]則利用RGB圖像估計深度信息,設計雙流CNN網絡結合顏色紋理與深度結構特征實現活體檢測算法,其估計3D深度信息的過程是:將訓練圖像從RGB空間轉化到HSV、YCbCr空間,利用3D臉部匹配算法與3DMM模型計算深度圖像標簽。偽3D活體檢測利用RGB圖像估計深度信息,雖然不需要額外的深度相機設備進行采集3D數據,但是除了存在計算量大的缺點之外,最關鍵的是估計數據與實測數據存在較大偏差,直接影響了活體檢測的準確性。

2.3 3D活體檢測

   3D活體檢測則直接利用深度相機獲取空間結構信息實現活體檢測算法。Wang等[21]利用Kinect深度相機采集的深度信息,通過提取深度圖的LBP特征以及CNN學習到RGB圖像的紋理特征,再送入SVM分類完成活體檢測。Zhang等[19][20]公開了大尺度、多模態數據集CASIA-SURF,該數據集利用Intel RealSense SR300結構光相機采集深度圖和紅外圖,提出融合RGB、深度圖與紅外圖的多流ResNet基準算法。該算法與前兩類活體檢測算法相比,其專注于人臉面部區域,消除背景對檢測的干擾。作為經典的3D活體檢測算法,直接使用深度相機獲取空間結構信息,極其容易識別屏幕或者打印攻擊。同時結合其他模態(如紅外圖、RGB圖等),為活體檢測任務提供更多準確的區分性特征,還可以降低了算法的運算復雜度。但該基準算法只針對了6種紙張打印欺騙攻擊方式展開,未考慮惡劣條件下的活體檢測,而且仍存在計算復雜度較大的問題。此外相較于結構光、雙目視覺等消費級深度相機,ToF相機具有更強的抗干擾性能,能夠準確表征人臉的立體空間結構特性,符合活體檢測的應用場景條件。

3. 基于ToF的3D活體檢測

3.1 ToF深度相機

   ToF全稱為Time-of-Flight,直譯為飛行時間。飛行時間法通過連續向目標發送光脈沖,用傳感器接收從物體返回的光,通過探測光脈沖的飛行(往返)時間來得到目標物距離。測距原理如圖3-1所示。

圖3-1 ToF測距原理[27]

   由于ToF相機不需要像雙目相機一樣進行匹配,也不需要像結構光相機一樣進行編碼,ToF相機的計算相對簡單,幀率可達上百fps。在測距范圍和精度方面,ToF表現非常均衡,解決了結構光相機遠距離受限和雙目相機近距離精度不足的問題。同時,ToF作為一種采用主動測距方式的3D相機,在黑暗環境中也能正常工作。高頻調制的光源使其在強光環境下的抗光干擾表現優異,ToF相機具有明顯的優勢。

   上海數跡智能科技有限公司開發的SmartToF?相機具有精度高、小型化的特點,測距范圍可達0.3~8m,同時覆蓋了近景和遠景,且精度高可實現毫米級測距精度,實時輸出深度數據和強度數據,如圖3-2所示。本文利用SmartToF?深度相機,消除外部強干擾因素(如人臉遮擋、惡劣光照等)與人臉多姿態變化(如側臉、表情等)影響,實現高魯棒、高精度的3D人臉活體檢測方案。

圖3-2 數跡智能ToF相機產品

3.2 3D活體檢測算法

3.2.1 算法框架

本算法的主要創新點為:

   空間層次上的預注意機制。特征學習專注于人臉區域,消除背景對檢測的干擾,提取更高區分度的識別特征。

   魯棒人臉特征提取。PCA網絡(PCANet)[23]作為層次化魯棒特征提取的經典網絡,將CNN的卷積層引入經典的“特征圖—模式圖—柱狀圖”特征提取框架,通過層次化卷積與編碼,逐階段形成圖像的高階特征表達。

   多模態數據融合。本方法融合RGB圖、深度圖、強度圖三種模態數據,不同模態數據在PCANet中學習到的特征互補,可有效地區分活體與非活體。

   我們提出3D活體檢測算法框架主要基于特征級的多模態融合策略,首先FaceBoxes[24]人臉檢測器完成人臉檢測。非極大抑制  (NMS)算法用于選取候選的人臉區域,根據圖像中的像素面積大小得到最終的待檢人臉區域。再以多模態PCANet為網絡主干,對比分析一層PCANet(PCANet-1)與兩層PCANet(PCANet-2)在多模態活體檢測任務中融合的效果。具體地,通過PCA濾波器核卷積與編碼,學習多模態數據(RGB、IR、Depth)的高階特征,融合的直方圖統計特征送入到SVM等統計學習分類器完成最終檢測。算法框架如圖3-3所示。

(a)(b)

圖3-3算法方案:(a) 為多模態PCANet主線框架,(b)為直方圖統計融合框架

3.2.2結果與分析

   基于CASIA-SURF和數跡ToF活體檢測數據集,輸入人臉區域像素統一設定為:28×28,所有實驗都在Dual-Core Intel Core i5 CPU上完成,除特殊說明外,融合特征均采用支持向量機(SVM)進行分類,懲罰因子C設為20。PCANet-1與PCANet-2參數設置為:所有階段的PCA濾波器核大小k_1×k_2=3×3,步長為1。第一階段PCA濾波器核數目L_1=3,第二階段PCA濾波器核數目L_2=3。直方圖分塊大小為4×4,步長為2。由于測試數據集的正負樣本數量大致均勻,本文活體檢測性能衡量指標包括:分類正確率(CA)、非活體攻擊呈現分類錯誤率(LAPCER)[26]、真實呈現分類錯誤率(BPCER)[26]、平均分類錯誤率(ACER)以及真正率與假正率組合([email protected] = 10-2,指當假正率為10-2時TPR的值)[19]。

   首先探究具有一層PCA濾波器核卷積的PCANet-1、具有兩層PCA濾波器核卷積的PCANet-2在CASIA-SURF和數跡ToF活體檢測數據集上的性能,結果如表3-1所示。

   由表3-1可知,PCANet-1在ToF與CASIA-SURF活體檢測數據集上的綜合表現較好,其中PCANet-1在ToF數據集99.9%的正確率與0.3%的平均分類錯誤率。在CASIA-SURF數據集則實現98.9%的正確率與0.9%的平均分類錯誤率。因此本文的算法方案選取以PCANet-1為基礎的多流融合算法。

   在上述基礎上,基于PCANet-1,在CASIA-SURF上完成了模態內組合實驗,結果如表3-2所示,實驗表明在不同模態組合中,深度模態為活體檢測提供了最大區分度的信息,而且三模態融合方案取得最佳效果。

   接下來驗證了PCANet-1在強干擾因素和人臉多姿態的挑戰場景下的泛化和魯棒性能,使用SmartToF?相機采集的含有遮擋、表情、姿勢變化等干擾的活體檢測數據集。訓練集仍然使用不包括挑戰場景下的數跡ToF活體檢測數據,將新采集的數據集直接利用PCANet-1網絡與SVM分類器結合進行測試,結果如表3-3所示,同時在圖3-4中展示了部分測試的結果。

   結果表明:挑戰場景下的活體檢測仍然保持著99.1%的平均準確率以及1.0%的平均分類錯誤率。基于PCANet-1的3D活體檢測算法對于強干擾因素與多姿態變化具有較強的魯棒性。


   圖3-4挑戰場景下的ToF活體檢測結果,在口罩遮擋、側臉(≤90°)、表情變化等干擾因素下能正確地區分活體與欺騙攻擊

進一步我們對本文提出的算法多模態PCANet-1算法與基于CASIA-SURF的基準算法[19][20]進行了比較,算法對比結果如表3-4所示,其中本文提出的多模態PCANet-1融合的ROC曲線如圖3-5所示。

   算法對比表明,本文提出的多流PCANet活體檢測算法,結合SVM分類器下的分類正確率達到98.9%,平均攻擊分類錯誤率為0.9%;結合k-NN分類器,算法的分類正確率達到99.2%,在平均分類錯誤率上僅為0.8%,顯著低于其他算法,這意味著100次欺詐攻擊僅有不足1次的檢測失敗,滿足現實場景的應用。同時在ToF活體數據集上也證明了提出算法的有效性。

   最后我們對比分析了本文提出的算法和基準算法的復雜度,以FLOPs(浮點運算次數, floating point of operations)為時間復雜度指標,針對PCANet-1與基準算法ResNet-18[20]網絡主線的時間復雜度進行對比。結果如表3-5所示。

*M為輸出特征圖大小,K為卷積核大小,C為卷積核的通道數,I、O為全連接層的輸入輸出;m、n為PCANet輸入分塊大小,L_1為濾波器核數目,k_1、k_2為濾波器核大小。

   表3-5的結果表明:本文提出的算法主線基于簡化的深度學習模型,其時間復雜度遠小于深度學習基準算法主線,FLOPs僅為2.4×104。但需要注意的是,本文提出的基于三流PCANet-1的3D活體檢測算法包含以SVM、k-NN為代表的統計機器學習,復雜度較小。但統計機器學習作為內存密集型算法,在樣本數據較大時,其運算效率會受到內存的限制。

4. 總結

   本文在現存活體檢測方法容易受到光照、表情、遮擋變化等干擾因素影響的問題基礎上,基于TOF相機數據,實現單幀多模態圖像的人臉活體檢測算法。

   本文提出的基于三流PCANet的3D魯棒活體檢測算法,在公開數據集CASIA-SURF與數跡ToF數據集上的實驗結果表明:本文提出的多模態融合算法對于活體檢測的性能有很大的提升。在CASIA-SURF數據集上結合SVM分類器下的分類正確率達到98.9%,平均攻擊分類錯誤率為0.9%;結合k-NN分類器,算法的分類正確率達到99.2%,在平均分類錯誤率上僅為0.8%,顯著低于其他算法;同時在采集的ToF數據集的正確率達到99.9%,測試分類錯誤率僅為0.3%,滿足現實場景的實際應用。算法框架基于傳統FPH框架和簡化深度學習模型,在算法運算復雜度上顯著低于現存的深度學習基準算法,對于光照、遮擋、姿態變化等具有一定魯棒性,保障著人臉識別系統的安全性,提高了人臉識別的性能。

5. 參考文獻

[1]ChingovskaI , Anjos A , Marcel S . On the Effectiveness of Local Binary Patterns in Face Anti-spoofing[C]// IEEE International Conference of the Biometrics Special Interest Group (BIOSIG). IEEE, 2012.

[2] De Freitas Pereira, Tiago, Anjos, André, De Martino, José Mario. LBP-TOP based countermeasure against face spoofing attacks[M]// Computer Vision - ACCV 2012 Workshops. Springer Berlin Heidelberg, 2013.

[3] Zeng C, Ma H. Robust Head-Shoulder Detection by PCA-Based Multilevel HOG-LBP Detector for People Counting[C] International Conference on Pattern Recognition. IEEE, 2010:2069-2072.

[4] William Robson Schwartz, Anderson Rocha, and HelioPedrini. Face spoofing detection through partial least squares and low-level descriptors. In IJCB, 2011. 3

[5] Li Jiangwei, Wang Yunhong, Jain A K. Live face detection based on the analysis of Fourier spectra[J]. Proceedings of SPIE, 2004, 5404: 296-303.

[6] Zhang Z , Yan J , Liu S , et al. A face antispoofing database with diverse attacks[C]// Biometrics (ICB), 2012 5th IAPR International Conference on. IEEE, 2012.

[7] BoulkenafetZ ,Komulainen J , Hadid A . Face Spoofing Detection Using Colour Texture Analysis[J]. IEEE Transactions on Information Forensics & Security, 2016, 11(8):1-1.

[8] Wen D, Han H, Jain A K. Face spoof detection with image distortion analysis[J]. Information Forensics and Security, IEEE Transactions on, 2015, 10(4): 746-761.

[9] Li X ,Komulainen J , Zhao G , et al. Generalized face anti-spoofing by detecting pulse from face videos[C] 2016 23rd International Conference on Pattern Recognition (ICPR). IEEE, 2016.

[10] Yang J , Lei Z , Li S Z . Learn Convolutional Neural Network for Face Anti-Spoofing[J]. Computer ence, 2014, 9218:373-384.

[11] Lei Li, Xiaoyi Feng, ZinelabidineBoulkenafet, Zhaoqiang Xia, Mingming Li, and Abdenour Hadid. An original face anti-spoofing approach using partial convolutional neural network. In 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA), pages 1–6. IEEE, 2016.

[12] Jourabloo A , Liu Y , Liu X . Face De-Spoofing: Anti-Spoofing via Noise Modeling[J]. 2018.

[13] Tu X , Zhang H , Xie M , et al. Deep Transfer Across Domains for Face Anti-spoofing[J]. Journal of Electronic Imaging, 2019.

[14] Liu, Yaojie, Stehouwer, Joel, Jourabloo, Amin. Deep Tree Learning for Zero-shot Face Anti-Spoofing[J]. 2019.

[15] Tao Wang, Jianwei Yang, Zhen Lei. Face Liveness Detection Using 3D Structure Recovered from a Single Camera[J]. 2013.

[16] Atoum Y , Liu Y , Jourabloo A , et al. Face Anti-Spoofing Using Patch and Depth-Based CNNs[C] The International Joint Conference on Biometrics (IJCB 2017). IEEE, 2017.

[17] Liu Y , Jourabloo A , Liu X . Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision[J]. 2018.

[18] Liu Y , Tai Y , Li J , et al. Aurora Guard: Real-Time Face Anti-Spoofing via Light Reflection[J]. 2019.

[19] Zhang S , Liu A , Wan J , et al. CASIA-SURF: A Large-scale Multi-modal Benchmark for Face Anti-spoofing[J]. 2019.

[20] Zhang S , Wang X , Liu A , et al. CASIA-SURF: A Dataset and Benchmark for Large-scale Multi-modal Face Anti-Spoofing[J]. 2018.

[21] Wang Y ,Nian F , Li T , et al. Robust Face Anti-spoofing with Depth Information[J]. Journal of Visual Communication and Image Representation, 2017:S1047320317301773.

[22] 劉逸飛. 基于光譜分析與深度信息的人臉活體檢測[D]. 2017.

[23] Chan T H , Jia K , Gao S , et al. PCANet: A Simple Deep Learning Baseline for Image Classification?[J]. IEEE Transactions on Image Processing, 2015, 24(12):5017-5032.

[24] Zhang S , Zhu X , Lei Z , et al. FaceBoxes: A CPU Real-time Face Detector with High Accuracy[C]// International Joint Conference on Biometrics (IJCB). 2017.

[25] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[J]. 2015.

[26]Chen Gu,Wei Guo,Qi Wang, et al.IEEE Standard for Biometric Liveness Detection[J].in IEEE Std 2790-2020,IEEESTD.2020.9080669.2020

[27]傳感器技術mp_discard.3D視覺傳感技術[EB/OL].https://www.sohu.com/a/212031137_468626,2017-12-22.

喜乐彩什么时候开奖 吉林体彩11选5平台 对平安银行股票分析 福彩3d直选计划 湖北快3组合分布走势 明日短线黑马股票推荐 pc蛋蛋幸运28单双大小 广东快乐10分钟开奖助手 博华太平洋股票 黑龙江11选5开奖号 福彩官网论坛 东北期货配资网 贵州11选5手机助手app下载 美东二分彩公正吗 广东十一选五前三直选遗漏一定牛 国内最安全的股票配资平台 北京pk10走势图怎么分析