微軟最新研究為VR帶來面部脈搏、呼吸頻率和溫度變化

改進 VR 和 3D 沉浸式通訊一直是微軟在這一技術領域進行長期投資的基石，并因此帶來了眾多的創新。微軟表示，通過 3D 應用實現更加身臨其境的交流需要在 3D 幾何的捕獲和交換上實現巨大的飛躍，而這只有通過持續的信號處理才能實現。這項工作的核心是微軟與學術合作伙伴的合作研究（CORE）項目，包括日本國立情報學研究所副教授 Gene Cheung 博士。

使用諸如 Kinect 傳感器的深度感測設備，研究人員開發了一種可更好地降低噪聲并恢復圖像中缺失細節的方法。至關重要的是，他們發現了一種在增強自然圖像（見圖1）和深度圖像之前利用圖形信號平滑度的方法。

左圖為原始 4 位圖像；右圖為使用新方法后的效果圖像。

微軟研究亞洲院的高級研究員 Dinei Florencio 一直在與 Cheung 教授研究“rate-constrained 3D Surface estimation”和“precision enhancement of multiple 3D depth maps”。

Florenicio 說：“這兩條研究線是我們最近合作中最活躍的項目。當我們在沉浸式通訊中取得所需的進展時，我相信 Gene 的研究將會帶來一些核心的貢獻。”

該項目的其他主要成員包括微軟研究院的 Cha Zhang 和 Philip Chou，以及香港科技大學研究生 Pengfei Wan。

Florencio 和 Chueng 現正在研究主動光傳感是否可以準確檢測信息性生物信號（例如面部的脈搏/呼吸頻率和溫度變化）。研究的一個關鍵問題是能否擴展主動光感測以揭示陰影或遠程人類受試者的相同細節。

微軟研究所高級研究員 Tao Mei 說：“該項目非常有趣，因為它試圖估計生物信號以實現更有效的面對面交流。主要研究者提出了使用完全非接觸和非侵入性的主動成像的方法——通過分析室內主動圖像傳感系統中構造的熱和深度圖像這一新穎的想法來解決這個問題。

在完成后，Cheung 教授將公開該研究工具。映維網期待著該項目的不斷進步和所取得的成就。我們希望更多的研究人員可以探索這一領域，拓展虛擬現實技術的前沿，并在未來實現《星球大戰》中萊婭公主的那種全息消息傳遞。

來自: cnBeta