本文將會(huì)針對(duì)增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)的研究內(nèi)容進(jìn)行分析，希望能夠給還沒有入門或剛剛?cè)腴TAR的朋友一個(gè)總體的認(rèn)知，明確自己在AR領(lǐng)域可以開展哪些方面的研究，找準(zhǔn)自己的佳切入點(diǎn)。
1 增強(qiáng)現(xiàn)實(shí)技術(shù)概覽
增強(qiáng)現(xiàn)實(shí)技術(shù)主要包括圖示的研究內(nèi)容，當(dāng)然還有一些比較生僻的內(nèi)容沒有列出來。本文介紹的增強(qiáng)現(xiàn)實(shí)相關(guān)的研究內(nèi)容，包括但不限于介紹到的這些內(nèi)容。增強(qiáng)現(xiàn)實(shí)是一個(gè)多學(xué)科交叉的研究領(lǐng)域，內(nèi)容紛繁復(fù)雜，選取其中某個(gè)點(diǎn)深入下去都可以作為長久的研究課題。
2 增強(qiáng)現(xiàn)實(shí)研究內(nèi)容分解
2.1 顯示技術(shù)
2.1.1 近眼式顯示設(shè)備
近眼顯示設(shè)備主要是指頭盔顯示器。頭盔顯示器主要分為兩種：光學(xué)透射式頭盔顯示器和視頻透射式頭盔顯示器。當(dāng)然如果按照顯示器件數(shù)量，也可以劃分為單目頭盔顯示器和雙目頭盔顯示器。這里主要討論光學(xué)式（圖一）和視頻式（圖二）的區(qū)別。
圖一
圖二
光學(xué)透射式頭盔顯示器是直接透射外界的光線，并且反射微投影器件產(chǎn)生的虛擬圖像到人眼中，達(dá)到虛實(shí)融合的效果。優(yōu)點(diǎn)是可以保證正確的視點(diǎn)和清晰的背景，缺點(diǎn)是虛擬信息和真實(shí)信息融合度低，且人眼標(biāo)定比較復(fù)雜。目前市面上典型的光學(xué)透射式頭盔顯示器有Hololens和Meta2等。
而視頻透射式頭盔顯示器，是將固定在頭盔上的攝像頭所捕獲的圖像，通過視點(diǎn)偏移來顯示到眼前的顯示器上。優(yōu)點(diǎn)是虛實(shí)融合效果好，無需標(biāo)定人眼，缺點(diǎn)是視點(diǎn)難以完全補(bǔ)償?shù)秸_的位置，且與鏡片范圍外的環(huán)境不能完美銜接。將上面的光學(xué)透射式頭盔顯示器，加上攝像頭，并且把帶有增強(qiáng)信息的視頻直接全屏顯示，就成為了視頻透射式設(shè)備了。很巧的是，很多光學(xué)透射式設(shè)備，確實(shí)在其上加裝了這種攝像頭，但是它們的本意是用攝像頭來作為跟蹤模塊的。
2.1.2 手持式顯示設(shè)備
手持式顯示設(shè)備，顧名思義就是拿在手上的顯示設(shè)備。常見的就是我們的智能手機(jī)和平板電腦。這類設(shè)備具有很好的便攜性，是一種天然的AR設(shè)備。它們有攝像頭作為圖像輸入設(shè)備，有自帶的處理器，有顯示單元，具備了進(jìn)行AR開發(fā)的所有條件。在目前市面上，很多增強(qiáng)現(xiàn)實(shí)APP都是圍繞這類設(shè)備開發(fā)的。
2.1.3 固定式顯示設(shè)備
桌面級(jí)顯示器，這是我們?nèi)粘Ｉ钪谐Ｒ姷囊活愶@示器了。給它添加一個(gè)網(wǎng)絡(luò)攝像頭，就可以完成AR任務(wù)了。該攝像頭可以捕捉空間中的圖像，然后估計(jì)攝像頭的位置和姿態(tài)，后計(jì)算生成虛擬信息，并進(jìn)行虛實(shí)融合，輸出到桌面顯示器上。這類設(shè)備適合做一些科研類的開發(fā)，對(duì)于商業(yè)應(yīng)用顯得有些笨重，比起手機(jī)和平板來說稍遜一籌。
虛擬鏡子，這是利用攝像頭對(duì)著人進(jìn)行拍攝，然后輸出到一個(gè)類似于鏡子的大型顯示器上，給人一種照鏡子的感覺。同時(shí)，還可以進(jìn)行虛擬換裝，或者添加一些虛擬物件，達(dá)到AR效果。
還有一些固定顯示器，類似于霧幕、水幕、全息膜等，在上面投影出增強(qiáng)信息，可以實(shí)現(xiàn)AR效果。
2.1.4 投影式顯示設(shè)備
投影機(jī)是一種重要的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)設(shè)備。常見的基于投影的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是在展會(huì)上的各種絢麗的投影展品，包括虛擬地球、汽車表面投影等。這類系統(tǒng)屬于空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。另外，柱幕、球幕、環(huán)幕投影也可以歸為基于投影的空間增強(qiáng)現(xiàn)實(shí)。
投影機(jī)還可以用于構(gòu)建CAVE系統(tǒng)。手持式投影機(jī)結(jié)合圖像捕捉設(shè)備，還可以建立動(dòng)態(tài)的空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。
2.1.5 小結(jié)與分析
增強(qiáng)現(xiàn)實(shí)中主要的顯示設(shè)備就是以上這些。如果要開展關(guān)于顯示技術(shù)的研究，從硬件方面來講，就是顯示材料、器件的研發(fā)。當(dāng)然這與增強(qiáng)現(xiàn)實(shí)并沒有高度相關(guān)性，只能說顯示設(shè)備參數(shù)的提升，可以間接促進(jìn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能提升。但是顯示方面，軟件還是可以有些值得做的東西，并且與增強(qiáng)現(xiàn)實(shí)體驗(yàn)息息相關(guān)。那就是頭盔顯示器的顯示畸變校正和投影機(jī)畫面拼接融合，這些技術(shù)都直接影響著增強(qiáng)現(xiàn)實(shí)系統(tǒng)虛實(shí)融合精度和整體可用性。
研究增強(qiáng)現(xiàn)實(shí)技術(shù)的人，很多是側(cè)重于系統(tǒng)集成和應(yīng)用測(cè)評(píng)，或者是直接將AR系統(tǒng)應(yīng)用在其他的研究領(lǐng)域。因此，這些人一般不會(huì)研究顯示元器件的細(xì)節(jié)，而更加關(guān)注如何拿現(xiàn)有的材料或者設(shè)備來構(gòu)建新型顯示系統(tǒng)。如果能夠做出新的AR系統(tǒng)，并且具有實(shí)用意義，也是非常有研究價(jià)值的。
2.2 跟蹤技術(shù)
跟蹤理論會(huì)涉及到一些空間坐標(biāo)轉(zhuǎn)換的基礎(chǔ)知識(shí)，以攝像機(jī)跟蹤為例，分為模型坐標(biāo)空間、世界坐標(biāo)空間、攝像機(jī)坐標(biāo)空間和圖像坐標(biāo)空間。由于比較細(xì)節(jié)，這里不展開討論，相關(guān)知識(shí)可以查閱計(jì)算機(jī)視覺書籍即可。這里以不同種類的跟蹤系統(tǒng)為例來討論跟蹤技術(shù)。
2.2.1 固定式跟蹤系統(tǒng)
機(jī)械跟蹤器通過控制機(jī)械臂各個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)來跟蹤機(jī)械臂末端的空間位置，屬于比較老的跟蹤方式，但是精度可以控制得比較高。
電磁跟蹤器是通過一個(gè)固定的發(fā)射源發(fā)射出三維正交的電磁場(chǎng)，接收端通過檢測(cè)接收到的電磁場(chǎng)的方向和強(qiáng)度來確定位姿。
超聲波跟蹤器則是通過測(cè)量一個(gè)聲音脈沖從發(fā)射源到傳感器的飛行時(shí)間來測(cè)量距離。
2.2.2 移動(dòng)式傳感器
GPS，全稱是全球定位系統(tǒng)。這個(gè)系統(tǒng)在智能手機(jī)上應(yīng)用很普遍。它通過接收多顆衛(wèi)星信號(hào)來確定當(dāng)前所處的位置。對(duì)于戶外大范圍增強(qiáng)現(xiàn)實(shí)有著重要意義。
無線網(wǎng)是通過檢測(cè)移動(dòng)設(shè)備接入點(diǎn)信息來粗略確定移動(dòng)設(shè)備所處位置的。它可以配合GPS使用。
磁力計(jì)，也稱電子羅盤，通過檢測(cè)地球的磁場(chǎng)來確定方向。
陀螺儀和線性加速度計(jì)都是依靠慣性來進(jìn)行測(cè)量的。陀螺儀測(cè)量三軸角度變化，線性加速度計(jì)測(cè)量位置變化。它們通常會(huì)配合使用，并且常以微機(jī)電系統(tǒng)（MEMS, Micro-Electro-Mechanical System）的形式存在。
里程計(jì)是通過輪式或者光電編碼器來測(cè)量所走過路程的一種傳感器，常用在機(jī)器人或者交通工具中。
2.2.3 光學(xué)跟蹤技術(shù)
（1）跟蹤模式
有些跟蹤需要對(duì)被跟蹤的目標(biāo)預(yù)先建模，例如一些圖像跟蹤工具箱。有的則不需要提前建模，例如同步定位與跟蹤技術(shù)（SLAM）。多數(shù)跟蹤是需要提前建立一個(gè)待跟蹤模型數(shù)據(jù)庫的，然后在運(yùn)行中實(shí)時(shí)提取特征并且與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對(duì)。而SLAM則可以實(shí)時(shí)根據(jù)獲得的特征，自主建立空間地圖，并且確定攝像頭相對(duì)于環(huán)境的位置。
目前研究的比較火熱的是SLAM。因此，可以研究SLAM中的各個(gè)環(huán)節(jié)，從跟蹤、建圖、回環(huán)檢測(cè)等角度研究如何提升SLAM系統(tǒng)的精度，以及面對(duì)復(fù)雜環(huán)境的穩(wěn)定性。
（2）照明種類
跟蹤的穩(wěn)定性與環(huán)境光有關(guān)，尤其是基于視覺的跟蹤。有些跟蹤系統(tǒng)不需要自主添加光源，只是利用環(huán)境光，稱為被動(dòng)照明；有些跟蹤需要主動(dòng)發(fā)射某種照明光線，來實(shí)現(xiàn)其跟蹤，稱為主動(dòng)照明。被動(dòng)照明是比較常見的，例如平面標(biāo)志跟蹤就是在普通的環(huán)境照明下實(shí)現(xiàn)的。主動(dòng)照明典型的就是結(jié)構(gòu)光照明，例如Kinect。還有一種主動(dòng)發(fā)射紅外光的OptiTrack系統(tǒng)，做姿態(tài)跟蹤效果很好。
（3）人工標(biāo)志與自然特征
人工標(biāo)志指的是人造的用于跟蹤的圖像標(biāo)志等。例如二維碼、棋盤格等。自然特征指的是自然環(huán)境中本身就有的特征，不是人為放置用來跟蹤的特征。普通的室內(nèi)環(huán)境、街邊的樓宇都可以認(rèn)為是自然特征。人工標(biāo)志根據(jù)其種類不同，需要特定針對(duì)性算法進(jìn)行檢測(cè)和跟蹤，自然特征通常使用SIFT、SURF、ORB等特征描述子來進(jìn)行特征提取和跟蹤。
2.2.4 傳感器融合
互補(bǔ)式融合：不同的傳感器測(cè)量的是不同種類的參數(shù)，可以互相補(bǔ)充。
競(jìng)爭(zhēng)式融合：不同傳感器測(cè)量的是同一個(gè)種類的參數(shù)，則使用某種方式將它們結(jié)合起來，產(chǎn)生一個(gè)更好的測(cè)量結(jié)果。
協(xié)作式融合：不同傳感器之間是協(xié)作關(guān)系，其中某個(gè)傳感器可能依賴于其他的傳感器才能得出結(jié)果。
2.2.5 小結(jié)與分析
筆者認(rèn)為，純粹的跟蹤技術(shù)研究，不僅可以服務(wù)于增強(qiáng)現(xiàn)實(shí)，也可以服務(wù)于虛擬現(xiàn)實(shí)，以及其他需要用到該技術(shù)的領(lǐng)域。研究跟蹤技術(shù)，可以從多視圖幾何方向入手，通過幾何的方式來估計(jì)位姿。也可以從特征角度入手，針對(duì)特定的問題，設(shè)計(jì)不同的特征表述方式，解決問題。
SLAM研究者們通常會(huì)考慮怎樣建立更加穩(wěn)健的SLAM系統(tǒng)，怎樣對(duì)抗真實(shí)環(huán)境中的噪聲，怎樣進(jìn)行更好的回環(huán)檢測(cè)等。研究慣性測(cè)量單元（IMU）與視覺融合進(jìn)行SLAM的也大有人在，多傳感器數(shù)據(jù)融合對(duì)于SLAM來講有重要的意義。
在研究基于視覺的跟蹤技術(shù)時(shí)，會(huì)用到很多計(jì)算機(jī)視覺算法。計(jì)算機(jī)視覺本身就是一個(gè)很龐大的學(xué)科，感興趣的讀者可以根據(jù)自己的興趣，選擇相應(yīng)的書籍進(jìn)行展開閱讀。這里推薦兩本書，一本是《計(jì)算機(jī)視覺——算法與應(yīng)用》，另一本是《計(jì)算機(jī)視覺中的多視圖幾何》。
熱點(diǎn)新聞
課程問答
