7年臥薪嘗膽 iPhone X面部識別解析：AR是重點
2010 年 6 月，喬布斯發布了堪稱經典的 iPhone 4，這一代 iPhone 距離加入指紋識別還有 3 年。
而僅 3 個月后，蘋果收購了一家叫 Polar Rose 的瑞典公司，這是一家只有 15 人的小公司，蘋果看中的是不是別的，正是 Polar Rose 獨有的人臉識別技術。
沒錯，這就是 7 年之后在 iPhone X 上搭載的 Face ID 的前身。
很難想象，就在指紋識別還沒有誕生的 2010 年，蘋果公司已經開始布局 3D 視覺，并在蟄伏 7 年之后，先以面部識別的形式出現。
所以當有言論稱 Face ID 只是 iPhone 解決屏幕下指紋之前匆忙上馬的替代品時，不得不承認，我們太小看蘋果帝國了。
Polar Rose 主要技術是利用人工智能從事圖像視頻分析，從二維圖像中提取三維信息，但在 3D 視覺上的布局蘋果還是比微軟慢了一步。
因為早在 2009 年 6 月份的 E3 大展上，微軟正式發布了體感游戲設備 Kinect，它改變了人們與游戲交互的方式，我們晃動身體就能玩游戲（此前任天堂的 Wii 仍需要遙控棒）。
而這里的一個關鍵即使就是深度攝像頭，它用于捕捉人的肢體動作，然后交由程序去去識別、記憶、分析處理這些動作，這項技術由一家叫做 PrimeSense 的公司提供。
PrimeSense 是一家成立于 2005 年的以色列公司，并于 2006 年研發出了 3D 傳感器。
它的創始人都具有很強的科研背景，當時游戲行業已經有些停滯不前，他們一直在思考如何進行變革，比如讓人拿起游戲中的劍而不是遙控手柄，最終 PrimeSense 鎖定了攝像頭。
在當年的游戲開發者大會上，PrimeSense 對外展示了 3D 傳感器在游戲領域的前景，被微軟慧眼識珠，催生了后來的 Kinect。
PrimeSense3D 識別的技術主要是結構光的一種——Light Coding（光編碼技術），我們知道攝像頭想要捕捉人體的動作，需要通過判別景深來實現。
結構光即將光線結構化，其原理是使用投射器將光柵或線光源等投射到被測物上，在被測物體表面形成畸變的形狀，比如下圖中的條狀光柵，就在魚表面投射出不規則的線條。
↑↑↑結構光技術原理
這樣一個畸變的圖像被另外一個位置的攝像機捕捉到，就獲得了從它的角度看到的線條。
當投射器和攝像機的位置固定時，它所捕捉到的線條畸變程度也是一致的，這樣畸變的二維圖像可以還原物體表面的三維成像，這里主要運用了光學的三角法測量原理。
↑↑↑結構光技術原理
而 PrimeSense 使用的 Light Coding 還有些不同，它會在空間上打出一種叫做“激光散斑”的光源，這種光源的特點是具有高度的隨機性，隨著距離的不同會出現不同的圖案，這樣不同空間的散斑都一樣。
這樣光源打出去之后，相當于整個空間已經被標記，當有物體放入這個空間之后，通過散斑的變化就可以監測到物體的空間位置。
PrimeSense 會在空間中每隔一段距離記錄參考平面的一幅散斑圖案，形成一個立體的散斑圖案群。
當有人進入空間之后再記錄一次與之前形成對比和相關運算，就能獲得整個場景的三維圖像，微軟的第一代 Kinect 景深圖像就使用的這一原理。
從 2009 年開始，科技公司紛紛發現 3D 視覺是一個尚未挖掘的巨大寶藏，包括微軟、英特爾、谷歌、索尼、三星等公司均通過收購和自主研發投入到 3D 視覺的開發中去。
2009 年和 2010 年，微軟收購了 3D-TOF 相機公司 canesta 和 3dv，2013 年，英特爾推出 RealSense 實感技術，谷歌推出 Project Tango 項目。
講到這里，我們還沒有看到多少蘋果的影子，不過從微軟宣布與 PrimeSense 分道揚鑣之后，蘋果才算剛剛登場。
微軟自研 TOF 蘋果撿漏成就 Face ID
2013 年新一代的 Kinect 面世，并沒有繼續用 PrimeSense，而是選擇自主研發 3D 傳感器。
事實上 Kinect 二代的采用了與 PrimeSense 結構光截然不同的 3D 視覺技術——TOF，這些技術積累正是來源于之前收購的公司 canesta 和 3dv，3dv 手里握著 TOF 攝像頭的專利，此前一直認為一代 Kinect 使用的是 TOF 技術。
TOF 是 Time of flight 的簡寫，是通過給目標連續發送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。
通常是通過 LED 發射紅外線，成像傳感器接受物體表面反射的紅外線，設備會發射一個強度隨時間周期變化的正弦信號，通過獲得發射、接受信號的相位差來計算深度。
除了結構光和 TOF 技術，還有一種雙目立體成像技術，但因為技術不成熟這里就不展開介紹。
無論結構光還是 TOF 技術，在 3D 視覺方面各有優勢。
比如結構光方案技術成熟，功耗低，平面信息分辨率高，但是容易受光照影響，在強光下的表現并不是很好，識別距離近，但成本較高；TOF 方案抗干擾性好，識別距離遠，但是平面分辨率低，功耗較大，材料成本中等。
不管怎樣微軟放棄了使用結構光技術的 PrimeSense，PrimeSense 雖然有些失望，但并沒有停止研發的腳步，決定重新發明自己，并開發出了世界上體積非常小的 3D 傳感器 Capri。
Capri 具有 3 倍的深度分辨能力，50 倍的耐光性(使其能在日光下工作)，但是體型卻縮小了 10 倍。
或許正是 PrimeSense 在產品微型化做出的努力，讓 3D 傳感器可以在筆記本、平板電腦甚至手機上使用，也讓蘋果公司看到了它的潛力所在，微軟對 PrimeSense 的放棄最終讓蘋果撿了漏。
于是，終于在 2013 年 9 月份，蘋果公司正式登場，花費 3.6 億美元收購了 PrimeSense，讓這家有野心的公司掌握了核心的 3D 視覺技術。
Face ID 背后那些看不見的買買買
蘋果收購 PrimeSense 還在不斷推進 3D 傳感器的小型化，并不斷加大投入和專利布局。
2015 年 4 月蘋果提交了 3D 手勢控制技術專利申請；2015 年 7 月蘋果提交名為“低門檻面部識別”的面部識別專利。2017 年 3 月蘋果發布 3D 視覺新專利——利用景深信息進行人臉識別，一幅完整的人臉識別專利圖譜逐漸清晰。
接下來還有一系列瘋狂的收購：
2015 年 4 月蘋果收購 LinX Imaging
LinX Imaging 主要為移動設備開發多孔攝像頭，一方面可以降低攝像頭高度，讓攝像頭不再突起。
另一個黑科技則是利用多孔設計精準測算不同圖像中像素之間的區別，從而創建景深圖像，讓我們僅通過拍照，即可對物體進行三維掃描。
2015 年 11 月蘋果收購 Faceshift
Faceshift 是一家動作捕捉公司，開發了實時追蹤人臉表情，然后再用動畫表現出來的技術，這項技術曾用于《星球大戰》電影，讓動畫人物的表情更準確地模仿演員的表情。
在游戲領域，用戶可以使用根據自身表情實時更新的頭像。
后來證明，Faceshift 除了用作人臉識別之外，還被蘋果用在 iPhone X的 Animoji 中。
2016 年 1 月蘋果收購 Emotient
Emotient 這家公司致力于通過面部表情分析來判定人的情緒，這項技術會抓取人的面部，然后利用識別技術識別出面部表情。
2017 年 2 月蘋果收購 RealFace
RealFace 擅長面部識別，該公司開發了一種獨特的面部識別技術，其中整合人工智能并將人類的感知帶回數字過程。
大規模的收購讓蘋果公司迅速的掌握了 3D 視覺尤其是在人面識別領域的核心技術，也避免了競爭對手通過收購快速追趕蘋果，于是在 2017 年秋季新品發布會上，搭載 Face ID 功能的 iPhone X驚艷登場。
iPhone X真正的精髓：輕輕一瞥
按照蘋果完美主義的產品設計理念，iPhone X的“劉海兒”不應該存在，但喬納森·伊夫還是心甘情愿的為“小小的空間”讓路，因為他也明白，真正構建蘋果下一個十年手機形態的不僅僅是正面一塊全面屏，更重要的是“那輕輕一瞥”的驚艷。
回頭來看“小小的空間”高度集成了蘋果在人面識別上的研究成果，其中點陣投影器會投射超過 30,000 個肉眼不可見的光點，并對它們進行分析，為我們的臉部繪制精確細致的深度圖。
紅外鏡頭會讀取點陣圖案，捕捉它的紅外圖像，然后將數據發送至 A11 仿生這款芯片中的安全隔區，以確認是否匹配，所利用的正是 PrimeSense 的結構光技術。
另外蘋果還通過泛光感應元件，借助不可見的紅外光線，即使在黑暗中也能識別你的臉。
蘋果之所以選擇 PrimeSense 的結構光而不是 TOF，更多的看中了結構光恰到好處的識別距離和高分辨率，相比 TOF 較低的功耗也讓結構光更適用于移動平臺。
不過結構光在強光下表現有著天然劣勢，不知道 iPhone X在大太陽下能夠依舊表現優秀。
值得一提的是 Face ID 僅僅是蘋果積累 7 年的 3D 視覺所釋放能量地的一部分，而在 iPhone X上除了人臉解鎖，還打造了一系列看似秀肌肉卻很有趣的功能，比如“動話表情”。
通過原深感攝像頭這個復雜的系統 iPhone X能夠分析 50 多種不同的面部肌肉運動，來偵測面部 3D 輪廓。
在此基礎上就衍生出了“動話表情”，也就是將使用者的面部捕捉到 3D 建模上。我們經常在電影中看到的特效就屬于此類，但這次我們通過手機就能實現。
結合 A11 仿生的深度學習，Face ID 還具備了深度學習的能力，它帶有一個特殊的神經元引擎，夠利用機器學習技術來識別你樣貌的變化。
最近蘋果披露的 Face ID 白皮書中透露，如果你的面部發生較大變化，比如刮了胡子，Face ID 會通過密碼輸入的形式確認面部變化并自動記錄在庫，而不是讓你重新錄入面部。
Face ID 小試牛刀，蘋果 3D 大招是 AR
透過專利，我們看到蘋果還儲備了一系列 3D 手勢操作技術，在體感操作一直不溫不火的今天，我們很欣喜的看到，未來的體感操作仍需要蘋果這個“后來居上”者來顛覆，而這才是 3D 視覺真正的用武之地。
3D 手勢操作可能在 Mac 平臺上實現，移動平臺上 Face ID 只是 3D 視覺的小試牛刀，蘋果表示 AR 將是未來不可缺少的必要環節，后置雙攝加入 3D 視覺所發揮的能量更是不可小覷。
目前蘋果已經發布了 ARKit 開發平臺，并一舉成為體量龐大的 AR 開發平臺，不過 iPhone X的 AR 體驗仍然基于傳統攝像頭，與 3D 攝像頭差距甚遠。
因此當庫克在發布會上熱情洋溢的介紹 iPhone 的 AR 功能時，不僅給出了未來十年手機的期待，更是早就已經瞄上了你下個十年的錢袋。
來自: 驅動之家