【導(dǎo)讀】3D體感的技術(shù)是光學(xué)精密儀器與制造、模式識(shí)別、圖形圖像、機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)集大成者，跨越多個(gè)領(lǐng)域的高精尖技術(shù)。3D體感核心技術(shù)包括3D拍攝、人物提取和骨架識(shí)別。我們來(lái)淺析一下3D體感技術(shù)每個(gè)核心環(huán)節(jié)的技術(shù)特點(diǎn)。
3D體感的技術(shù)是光學(xué)精密儀器與制造、模式識(shí)別、圖形圖像、機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)集大成者，跨越多個(gè)領(lǐng)域的高精尖技術(shù)。所以，在2010年微軟Kinect推出以來(lái)，鮮有第二家公司和研究機(jī)構(gòu)完全突破體感交互的所有技術(shù)環(huán)節(jié)。3D體感核心技術(shù)包括3D拍攝、人物提取和骨架識(shí)別。我們來(lái)淺析一下3D體感技術(shù)每個(gè)核心環(huán)節(jié)的技術(shù)特點(diǎn)。
一、骨架識(shí)別技術(shù)
骨架識(shí)別的技術(shù)解決方案主要由數(shù)模邏輯推理和機(jī)器學(xué)習(xí)兩種方案。數(shù)模邏輯推理是通過(guò)有人體的某個(gè)關(guān)鍵可識(shí)別的關(guān)節(jié)點(diǎn)，通過(guò)人體特征推理出人體每個(gè)關(guān)節(jié)點(diǎn)的位置，這種方法簡(jiǎn)單易實(shí)現(xiàn)，但是人體是柔性、易變形，隨機(jī)動(dòng)態(tài)變化的，沒(méi)有一種邏輯推理方案能夠把人體的運(yùn)動(dòng)給模擬出來(lái)，導(dǎo)致識(shí)別準(zhǔn)確率不高沒(méi)有實(shí)用價(jià)值。這就是OMEK（被Intel收購(gòu)）和Softkinetic（Intel合作伙伴）幾年也不能推出商用化產(chǎn)品的原因。機(jī)器學(xué)習(xí)的方法是通過(guò)大集群計(jì)算機(jī)“學(xué)習(xí)”幾千甚至萬(wàn)億的人體行為樣本，來(lái)得到基本人體行為模型，就像小孩子成長(zhǎng)的過(guò)程。但是機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)是近幾年來(lái)逐步興起的技術(shù)，還不是太成熟，選擇什么樣的“學(xué)習(xí)”方法和什么樣的特征樣本是至關(guān)重要的，是需要不斷試驗(yàn)的。但是大集群計(jì)算機(jī)計(jì)算本身成本就異常的高，動(dòng)則千萬(wàn)人民幣，沒(méi)有扎實(shí)的研究基礎(chǔ)，一般廠商不敢輕易嘗試。
二、人物提取技術(shù)
對(duì)于人物提取來(lái)說(shuō)，就是要把復(fù)雜的動(dòng)態(tài)的環(huán)境去除，把真實(shí)的“人”提取出來(lái)。這個(gè)在工程上也是有較高的難度，比如人與桌子接觸，人與人握手和人體被局部遮擋。抽象理解就是人體分割和人物跟蹤在現(xiàn)有的基礎(chǔ)條件下，不會(huì)有完全精確的解決辦法，只是相對(duì)的解決。
人體的動(dòng)作是三維的，當(dāng)然對(duì)人體動(dòng)作的測(cè)量也必須是三維的。3D拍攝或測(cè)量技術(shù)實(shí)際上是相對(duì)比較成熟的技術(shù)，具有多種解決方案，比如單彩色攝像頭，雙彩色攝像頭，光干涉，超聲波、結(jié)構(gòu)光散斑和TOF（測(cè)量光的飛行時(shí)間）等等。除了TOF，其他的測(cè)量方式可以說(shuō)都是基于三角測(cè)距的原理，不同在于對(duì)特征點(diǎn)的提取的不同。
對(duì)于人體動(dòng)作來(lái)說(shuō)最主要的難題就是三維測(cè)量的實(shí)時(shí)性和3D測(cè)量數(shù)據(jù)對(duì)骨架識(shí)別的適用性，人眼的反應(yīng)時(shí)間一般小于120毫秒，也就是說(shuō)3D測(cè)量到骨架識(shí)別最大允許時(shí)間必須小于100毫秒，才能夠與應(yīng)用對(duì)接，這就要求三維測(cè)量的計(jì)算量不能太大，要不然成本太高就不適合消費(fèi)級(jí)產(chǎn)品使用。
三、3D拍攝技術(shù)
彩色攝像頭是以顏色和紋理為基礎(chǔ)的，光線細(xì)微的變化都會(huì)帶來(lái)圖像處理上較大的差別，對(duì)于紋理的細(xì)微分別決定了彩色攝像頭只能局限在近距離（0.8米以內(nèi)），這就是我們可以看到三維拍攝的圖像都是黑白的灰度圖的原因。彩色圖像顏色提取的方式，抗光線和同色系干擾的能力極差，原理上決定很難把不同的物體區(qū)隔出來(lái)，得到的三維圖像體感也是無(wú)法使用的。這就是為什么leapmotion必須是室內(nèi)向上拍攝，通過(guò)LED把手掌點(diǎn)亮的原因。
光干涉的原理精度高，但是計(jì)算原理就決定了該方法計(jì)算量超大，為了減小計(jì)算，就要想辦法省略掉物體的整體構(gòu)建，只計(jì)算物體的邊緣輪廓。但是物體的邊緣輪廓的三維信息根本就做不出骨架識(shí)別的訓(xùn)練算法。Intel的realsense，還有Pepplesinterface面臨的困境，可以三維測(cè)量，卻不可以體感。
Primisense的結(jié)構(gòu)光散斑測(cè)量方法，就是在測(cè)量精度和計(jì)算量上面向體感技術(shù)做出平衡的最優(yōu)方案之一。Primesense的精度為厘米級(jí)，判斷人體動(dòng)作已經(jīng)足夠了。
TOF的方案分辨率很難再提高了，而且測(cè)量光飛行時(shí)間的晶振芯片和攝像頭模組技術(shù)難度太高，從圖像質(zhì)量和成本的角度，TOF在很長(zhǎng)一段時(shí)間仍然落后于結(jié)構(gòu)光方案。超聲波的精度太低，遠(yuǎn)距離實(shí)用性不強(qiáng)。
