戴口罩人臉識別，是不是偽命題
昨天，雷鋒網 AI 掘金志其中的一個安防社群因為一個話題引發了不小的爭論：“AI 產品能否高效地實時識別出戴口罩的人是誰？”
過去一段時間，受疫情影響，民眾們無不戴上了口罩，這同時也給人臉識別檢測造成了不小的困擾。就此，部分廠商連夜升級原有算法，革新固有產品。并聲稱，升級后的 AI 系統，即使居民戴了口罩，也能做到無障礙識別。
對于這個說法，有業內人士認為：“無論算法如何升級，這類 AI 產品很難落地及量產，口罩識別技術根本不可能做到。”
但也有人極力反駁：“相關技術已經比較成熟，口罩識別沒有什么問題，相關產品目前已經成功商用了。”
在討論 AI 能否識別戴口罩的群體之前，我們先來談談人臉識別的使用場景。
目前，人臉識別的落地方向大致可以分為兩大類：
一是消費級場景，譬如手機解鎖、社區出入等等；
二是安防類場景，譬如逃犯抓捕、幼兒尋回等等。
這兩大類場景對于技術的要求維度截然不同，消費類場景看中技術精度，涉及到金融支付的手機解鎖等場景對于 AI 識別準確率要求之高讓人咂舌，通常四個九起步。
以如意支付 PAD 為例，該款刷臉支付設備內置了銀行卡檢測中心認證的云從增強級活體檢測模組，并已實現 99.99% 的防活體攻擊準確率。
而安防類場景則更為看中技術的廣度。以公安抓逃為例，為了逃避天眼追蹤，絕大多數犯罪嫌疑人在反偵察過程中都會選擇戴帽子或者戴口罩，以遮擋部分面部特征。
考慮到安防場景的現實所需，部分廠商很久之前就開展了對于面部遮擋技術的研究工作，在提升技術可用性方面做了不同程度的嘗試。
雷鋒網 AI 掘金志通過采訪數位業內資深專家，得到的答案比較一致：
“口罩、帽子等遮擋物確實會對 AI 識別造成精度下降，但還需要考慮遮擋面積，并非完全不能識別。”
在口罩識別的技術攻克中，主要會遇到的技術難題有三個：
由于口罩遮擋，人像信息減少，學習到的特征的判別性隨之較少。具體的，二維紋理信息會由于遮擋而丟失、三維形狀信息會帶有噪聲；
口罩類型比較多且口罩遮擋程度不一，如何更多地利用非遮擋區域的信息也是一個影響因素；
戴口罩人臉的人臉檢測和人臉關鍵點檢測的精度受到口罩遮擋的影響會降低。
此前，華為在這塊便進行了多種嘗試，并申請了一項名為“人臉識別方法、裝置及計算機可讀介質”的影像重構技術專利。
該專利顯示，通過圖像重構網絡可以將戴配件（眼鏡、口罩、帽子等）的人臉圖像重構為未戴配件的人臉圖像。
數據來自：智慧芽全球數據庫
另外，華為還申請了一項“一種人臉識別方法及系統”的技術專利。
通過人臉識別方法實現了對人臉上存在遮擋物的人臉圖像進行準確的識別，提高了人臉識別的精確性。
數據來自：智慧芽全球數據庫
此技術關鍵點是建立遮擋人臉圖像庫，具體來說就是在判斷需要識別的人臉圖像上有遮擋物（例如眼鏡、口罩等）時，將遮擋物提取出來并增加到參考數據庫中未遮擋的人臉圖像上。
例如在判斷出待識別人臉有佩戴眼鏡時，就提取出眼鏡特征并在原圖像庫的基礎上新建一個戴眼鏡的參考圖像庫，再將需要識別的人臉圖像與該庫中的參考圖像進行匹配查找，從而完成識別。
華為之外，阿里也申請了相關專利。
此前阿里則用“局部特征細化與整體相似度評估”的方式來提高準確率，他們通過綜合局部器官圖像匹配技術完成識別，此時局部器官不僅可以是眼睛圖像、鼻子圖像、嘴巴圖像和耳朵圖像等，還可以是下巴區域、臉部輪廓、胎記或黑痣圖像等等。
根據面部多個局部器官的相似度評估指標和對應的權重，得到整體相似度評估指標，從而獲取更精確的遮擋下的面部識別結果。當然，國內人工智能企業在人臉識別領域也有大量專利，比如的盧深視。
的盧深視是一家專注于計算機視覺和人工智能的創業公司，為安防、金融、教育等領域提供解決方案，目前他們已經在多個領域拿下數個千萬級別的項目訂單。
“有遮擋面部識別本來就屬于技術研發規劃中的既定項目，此前主要針對墨鏡、大檐帽等。”
的盧深視副總裁朱海濤博士告訴雷鋒網(公眾號：雷鋒網)，在安防領域，遇到識別口罩等技術需求再平常不過了。
據悉，此前他們在某邊疆省份落地 3000 多套 3D 設備，并建立了省級規模的人像數據庫，使用將近 5 年的過程中，采集得到的實戰數據千億級別，累計 ID 近 3000 萬，里邊涉及太多個性化識別，在解決部分面部遮擋方面有很多的技術積累。
針對口罩識別，朱海濤博士提到，短時間內主要通過模擬生成戴口罩數據，從而優化人臉識別算法模型。期間，主要關注兩個點：
一是訓練數據規模，通常都是數十萬到百萬級別，在圖像質量有保障的前提下，規模越大，通常優化效果越好。
這就帶來了第二個關注點，廠商很難在短時間內采集得到數十萬的戴口罩數據，這個時候就要采用模擬的方法，具體而言：
二維：一般廠商通常的做法是，根據二維圖片上的人臉關鍵點，將二維的口罩貼圖和二維圖片中的人臉做一個對齊，然后根據口罩的 mask 圖來完成填加口罩操作。
三維：而的盧深視選擇先重建三維人臉模型，再將口罩的三維模板模型與三維人臉模型做非剛性對齊，從而完成模擬加口罩的操作。
總結來說，的盧深視基于人臉全局特征及局部特征相結合的方法，同時充分利用人臉未遮擋部位的三維幾何信息進行三維人臉識別研究，相對于普通的二維人臉識別能夠有效應對戴口罩等遮擋場景的人臉識別。
據悉，依托 3D 數據的豐富特征，針對戴口罩、戴帽子、戴防護鏡等嚴重遮擋情況，通過算法優化，的盧深視的技術識別準確度可以達到 97% 以上。
“目前，我們的技術方案已經在全國多個地市落地應用。”朱海濤博士提到。
譬如在溫州，為了平衡居民生活與防疫措施，溫州在全市范圍內實行村（居）民出行管控措施，要求全市每戶家庭每兩天指派一名家庭成員采購物資。
為了此項管控舉措更安全有效的實施，的盧深視利用 3D 視覺人臉比對終端設備搭配三維人像數據平臺，形成人臉比對及快速建庫方案，在出入口進行刷臉核驗，實現出入人員管控，同時對新增人員進行快速入庫操作，后臺大數據系統實時繪制人員行為軌跡，為疫情排查提供依據。
“真正成立口罩識別相關研究是在 1 月中旬啟動，落地是在一月底，大概 2 周時間，落地部署之后，我們一直在持續調優。”
朱海濤博士補充道。
值得一提的是，目前的盧深視該方案已入選由中華人民共和國應急管理部主辦的應急裝備綜合信息服務平臺，第一時間響應國家和政府的應急需求保障。
無論是從華為、阿里的技術專利出發，還是從的盧深視的落地案例來看，相關廠商們在此之前就已經考慮到了人臉識別遮擋的情況，并做出全方位的技術突破。
由此也可以得出結論：口罩識別等小眾需求在某些場景已是大眾問題，隨著 AI 使用場景的愈加多元，相關技術也定會不斷革新。
新技術的突破與應用固然有著諸多不足與弊端，但也是社會發展的必然，不加分辨地完全認可和全盤否定都是不可取的。
找出問題、解決問題，多一些耐心、少一些戾氣，才是技術發展的主旋律和應該有的節奏。
針對戴口罩場景下通過人臉識別進行身份核驗這一熱點問題，雷鋒網 AI 掘金志深度采訪了的盧深視相關專家，以下是全部內容，雷鋒網作了不改變原意的整理與編輯：
1、如何定義“戴口罩人臉識別”？
戴口罩人臉識別是指在正確佩戴口罩的情況下，實現非接觸式的人的身份核驗，即明確“你是誰”。
戴口罩人臉識別屬于遮擋人臉識別，要求在可接受的誤識別率范圍內，達到較好的正確識別率。戴口罩人臉識別涉及的算法除了人臉檢測、關鍵點檢測和人臉特征提取算法外，還包括口罩（有無）檢測或口罩區域檢測。
2、是否需要保障露出多少面部特征？
由于嘴部區域和鼻子區域受到了遮擋，對人臉識別帶來了很大的挑戰。一般而言，口罩遮擋部位越小，人臉識別模型的性能越高。
以的盧深視的三維口罩遮擋人臉識別解決方案為例，在正確佩戴口罩的場景下即可成功識別。
3、戴口罩人臉識別的技術原理是什么？
的盧深視基于人臉全局特征及局部特征相結合的方法，同時充分利用人臉未遮擋部位的三維幾何信息進行三維人臉識別研究，相對于普通的二維人臉識別能夠有效應對戴口罩等遮擋場景的人臉識別。
4、戴口罩識別有哪些技術難點？
·戴口罩人臉的人臉檢測和人臉關鍵點檢測的精度受到口罩遮擋的影響會降低；
·由于口罩遮擋，人像信息減少，學習到的特征的判別性隨之較少。具體的，二維紋理信息會由于遮擋而丟失、三維形狀信息會帶有噪聲；
·口罩類型比較多且口罩遮擋程度不一，如何更多地利用非遮擋區域的信息也是一個影響因素。
5、如何提升戴口罩識別的準確率？
簡單講講通過模擬生成戴口罩數據，從而優化人臉識別算法模型這種研究方法。
的盧主要關注兩個點，一個是訓練數據規模，通常都是數十萬到百萬級別，在圖像質量有保障的前提下，規模越大，通常優化效果越好。
這就帶來了第二個關注點，我們很難在短時間內采集得到數十萬的戴口罩數據，這個時候就要采用模擬的方法，具體而言：
·二維：通常的做法是，根據二維圖片上的人臉關鍵點，將二維的口罩貼圖和二維圖片中的人臉對齊，然后根據口罩的 mask 圖來完成填加口罩操作。
·三維：先重建三維人臉模型，再將口罩的三維模板模型與三維人臉模型進行非剛性對齊，從而完成模擬加口罩的操作。
的盧深視成立 5 年落地多個項目，并幫助某邊疆省份建立了省級規模的 3D 人像數據庫，積累大量實戰數據。由于實戰數據的豐富性，為的盧深視能夠迅速開展更多前沿研究奠定了基礎。
6、相關方案對使用環境的大小、優劣有要求嗎？
由于 3D 技術的優勢，我們的方案支持大庫建庫以及精準識別，可以在學校、醫院、校區等人流量較大的場景使用。
7、疫情之后，對于技術發展趨勢，你如何判斷？
省市級別的人員數據庫建設會成為趨勢。（其實此次疫情從武漢蔓延到多地，也是由于人員數據的跨區域追蹤不到，加速了疫情蔓延）