技術貼：揭秘微軟黑科技HoloLens是怎么煉成的
本文作者 徐浩 ,中國科大理論物理專業在讀， 對航空、計算機感興趣，愛玩無人機。
今日，微軟 Kinect 技術參與人 Alex Kipman 介紹了微軟新一代虛擬現實技術 Holograms。絕對是款拽酷炫屌咋天。沉寂了這么多年的微軟，似乎終于要崛起了。那要如何評價 HoloLens 的黑科技呢？
以下為正文：
引用宣傳視頻里面的一句話：
It was science fiction, Microsoft brings it into science fact.
HoloLens 所實現的效果并不是微軟一家的創新，他早已流傳在種種科幻電影中。HoloLens 是一個 Oculus＋Kinect＋Jetson TK1 集成起來的夾在鼻梁上的嵌入式怪物。腦補一下把 Kinect 帶到頭上的情景吧。微軟做到了！
首先給沒有看宣傳視頻的孩子介紹下 HoloLens 吧，HoloLens 是一個基于深度攝像頭，高性能處理器和雙屏幕顯示的進階版 Glass，長這個樣子，具體參見微軟官網。
根據我目前看到的信息，HoloLens 需要的技術支持包括三個部分：
- 實時的三維計算
這是游戲屆玩爛的東西，可以說在阿凡達之后拉開了一個時代的幕布，經過 NVIDIA、Intel 等公司的苦心經營，實時的雙攝像頭渲染已經很成熟。微軟終于把這種技術推向了更廣的領域。下圖這種效果在也就是現在是游戲級別的水平。
- 精準的姿態確定和位置確定
根據網上流傳的信息，可以肯定微軟采用了基于深度識別的 SLAM（實時定位與地圖構建）技術。這里解釋一下什么是 SLAM，就是通過傳感器獲取環境的有限信息，比如視覺信息、深度信息、自身的加速度和角速度等來確定自己的相對或者絕對位置，并完成對于地圖的構建。
SLAM 的準確度對于最后的顯示效果非常重要，姿態確定就不是事兒。幾十塊的電容式陀螺儀或者幾百塊的 MEMS 抄幾段代碼就好，但怎么確定位置就是微軟的功力了。當然深度攝像頭這種事情微軟常年吊打整個行業，Kinect 快成行業標準了（幫助了多少論文發表）。想想我們用的激光雷達的價格。真是要哭了。
電影中，使用小型探測器掃描出來了隧道全景并且全息呈現了出來。對應到現實《普羅米修斯》里面用的是這種玩意，相當于一輛低配的奧迪 A8 的價格，可以發射幾十束激光同時掃描。Google 無人車也用這種激光雷達來進行實時的路況分析。
微軟做到的可是實現了三年前科幻電影的效果啊！
注意這張圖，微軟暗示進入一個房間之前要先進行掃描，這里明顯是在用 Deep Camera 生成 Point Cloud 然后三角面片進行 SLAM（我實驗室的某個師兄在微軟實習的時候，做的畢業設計也是這個，微軟在這個技術上的積累很強的）。如果確定是和 Kinect 類似的紅外攝像頭，那么可以認為 kinect 有的毛病他都會有，比如對黑色物體、光滑表面的探測。
可以說，HoloLens 的核心難度是深度探測和相關的手勢識別。這可是微軟的專長了。所以 HoloLens 就是一個戴到了鼻梁上的 Kinect。
為什么說 SLAM 對于 HoloLens 非常重要呢？因為只有實現了靠譜的 SLAM，才能知道眼鏡的空間坐標和相對于室內各種障礙物的位置，同時識別出各種室內擺件的形狀，這是宣傳片中人機交互的基礎。
在視頻中，主人公一直在走動，畫面的穩定性很好。
注意上圖這里，可以看到對于各個表面的貼合度已經達到了 SLAM 的程度。
- 圖像識別技術
這里注意到一個細節，展示在三維空間中的 UI 很像是 Autodesk Fusion 的 UI，難道自動桌已經先行一步？來自官網的一張圖片，可以看到使用的正是 Autodesk。
作為半個工程師，我當時買 Leap Motion 就是為了玩 Solidworks Fusion。現在有了 HoloLens，比 Fusion 體驗不知道酸爽多少倍。腦補一下去參觀 EAST 的時候眼睛里顯示出 EAST 剖面的情景。不能再震撼了。
這三個技術在近些年成熟，促成了 HoloLens 產品化。之前 Google Glass 的設想與此類似，Hololens 把它推向了現實。
其實 Hololens 所實現的效果也不是新鮮貨。早在冷戰末期，武裝直升機飛行員就通過頭盔里面的信息來操作機槍所瞄準的方向。這兩年我軍也有裝備。當年 Su35 的“回馬槍”向后發射的導彈就是用尾椎雷達和頭盔瞄準具實現的。
更進一步，上圖用到的也是類似的技術。
不過，根據技術分析，Hololens 可能會遇到如下一系列困難：
第一，耗電量。計算視覺、SLAM，以及反過向進行三維虛擬現實，都是常耗費計算量的任務。 Hololens 是時勢造英雄的產品，這種計算量在二十年前可是阿拉莫斯實驗室用于核聚變模擬的計算量。現在只要耗電量跟的上，NVIDIA 的 Tegra K1 還有 Intel 家的協處理器在嵌入式上飆計算量沒問題。
第二，是在開放環境、欠光線環境的識別度問題。我對此持保守態度，得拿到產品再說。
第三，是定位精準度問題。這是老大難問題了。
事實上，上圖中這種配合將成為很長一段時間內的主流。
如果修的不是自來水管而是血管，看到的是通過 B 超技術實時掃描出來的人體內部，那么未來的醫院會是怎么樣的。
如果顯示的不是自來水管的 manual，而是實時匹配無人機的爆炸視圖，那么以后的工廠和 DIY 是怎么樣的。
讓人難以想象的是，這一切居然要成真了！
微軟研究院養了那么多人真的不是白養的。目前來看，微軟在這些技術上解決的都非常好。
另外十分看好 HoloLens+ 無人機的交互。拿到貨以后我要做的第一件事情就是把我們的無人機系統移植上去。這畫面太美。我簡直不敢想。
還有多系統配合，這是像 iPhone 可以推動 21 世紀歷史進程的玩意。
買買買！
估計 Google 也會坐不住了，也會有大動作，相關技術大部分（包括廉價的深度攝像頭）都是開源的，估計很快會有公司扛包出現類似設備的開源硬件和軟件，市場一刺激華強北 也不會安分，投資空間有多大。各位手里有錢的主，都掂量掂量吧。由 iPhone 引發的歷史軌跡就是證明。
看起來，全息估計不會成為主流發展方向了。
不過，我最好奇的還是，這個東西進入中國以后，廣電會不會要求接入都要審批（顯然會搶電視機的飯碗）。