|
双眼（yǎn）可（kě）以（yǐ）测距（jù）和（hé）建立立体环境，双（shuāng）摄像头可以吗？答案是（shì）可（kě）以！ 这方面一直是计算机视觉的（de）研（yán）究热点，并（bìng）且已经有了不错的（de）成果！本（běn）人研究（jiū）生阶段主要做三维重建，简单（dān）写一些自己所了（le）解的。 首先三维和二维的区别，这个大家都容易理解（jiě），二维只有x、y两（liǎng）个轴（zhóu），比如一张素描画（huà），我们整（zhěng）体的感觉是“平（píng）”的，而三维则是多了一个z轴的维度，这个z轴的直观（guān）理解就是点离（lí）我们的距离，也即（jí） “depth(深度)”。 再来看看我们（men）人眼，人眼（yǎn）是（shì）一个典（diǎn）型的双目系统，大家可以做个小实验：闭上一只眼（yǎn）睛，然（rán）后左右手分别拿着一只笔，试着让（ràng）笔尖相碰，哈哈，是（shì）不（bú）是有怀疑人（rén）生的感觉？ 我们分别（bié）用左右眼看同（tóng）一（yī）个物体，可（kě）以清楚（chǔ）地（dì）感觉到图像（xiàng）的差（chà）异，这个（gè）差异（yì）就是我们形（xíng）成三维视（shì）觉的基础，有了这左右眼图像的差（chà）异，配合大脑强大的（de）识别匹（pǐ）配（pèi）能力（lì），我们就能基本确定物体离我（wǒ）们的距离，也即之前说的"深度"，上个实验中（zhōng）我们只睁开一只（zhī）眼（yǎn）睛，虽然能清楚的看到左（zuǒ）右手中的（de）笔，但（dàn）是大脑没法得出深度（dù）信（xìn）息（xī），所以（yǐ）你（nǐ）在“上下左右”方向上能准确定位，但是（shì）“前后”方向上却无能为力。 现（xiàn）在（zài）来说说左右图像的“差（chà）异”到“深度”的（de）转换（huàn），这里可（kě）能（néng）需要一点点空间几何知识，其实（shí）也很简单
物（wù）体上的点p12分（fèn）别对应（yīng）左右（yòu）图像上点p1和p2，求（qiú）解p1、p2、p12构成的三角形，我们就能（néng）得到（dào）点p12的坐（zuò）标（biāo），也就能（néng）得到p12的深度。这个计算对于人脑来说是小case，我们更多地依赖经验和强大的（de）脑补能力，虽（suī）然我们不能（néng）计算出某个物体离我（wǒ）们的精确距离，我们却能非常准确地建立物体（tǐ）距离的相对关系，即哪个物（wù）体在前，哪个在后，这对日常生活已经足够了。 而我们做工（gōng）程上的双目视觉三维重建，核心目标就是解上图所示的三角形，相机可以抽象成一个简单的透视系统：
空间点p经过（guò）相机成像，映射到图像（xiàng）上点(x,y)，其中Oc是相机光心（xīn），WCS、DCS、ICS分别是世界（jiè）坐标系、设备(相机（jī）)坐标系、图像坐标系。空间点p到相机（jī）图像（xiàng）上点（diǎn）的几（jǐ）何变换（huàn）可以用相机内参来描述，具体公（gōng）式（shì）就不说了，可以（yǐ）简单地理解为（wéi）相（xiàng）机拍（pāi）照是对点的几何坐标变换（huàn），而相机内参就是决定这个（gè）变换的一些参（cān）数。 继续看之（zhī）前的光学（xué）三角关系图，O1、O2分别是左右（yòu）相机的光心，现（xiàn）在我们要做的就是（shì）确（què）定这两个（gè）相机的相对位置关系（xì）：可以用旋转矩阵R和平移向量T来（lái）描述，确（què）定了（le）R和（hé）T，两个相机的位置关系就确定（dìng）了，这个（gè）步骤叫做相机的（de）外参（cān）标定。一般的做（zuò）法是用三维重（chóng）建的逆过程来做（zuò），即由一系（xì）列已（yǐ）知的p1、p2和（hé）p12来求解（jiě）光学三角形，估计出（chū）最优的R、T。简而言之，外参（cān）标定确定相机之（zhī）间的相对（duì）位置（zhì）关系。 好了，现在我们只需要知道p1、p2的坐标，我们就（jiù）能轻松算出p12的坐标，完成三（sān）维重建。我们（men）把（bǎ）p1、p2称（chēng）为（wéi）一个（gè）点对（duì）(pair)，他们是同一个空间点在不同相（xiàng）机中的成像点。寻找这样的点对的过程称为立体匹配，它是三维重建最关键，也可以说是（shì）最难的（de）一步。我们都玩过（guò）“大家来找茬（chá）”，找的是（shì）两幅图的（de）不同点，而立体匹配则是找（zhǎo）“相同（tóng）点”。对（duì）人脑来说，这（zhè）个问题（tí）太easy了（le），给你（nǐ）同（tóng）一个物体的两幅图，你能轻（qīng）松找（zhǎo）出一副图像（xiàng）上的点在（zài）另一幅图像中的对（duì）应点，因为我（wǒ）们（men）人脑的物体识别（bié）、分割、特征提取等等能力实在太强了（le），而且性能特别高，估计几（jǐ）岁（suì）的小（xiǎo）孩就能秒杀（shā）现有的最好的算法（fǎ）。 常（cháng）规的匹配算法一般通（tōng）过特征（zhēng）点来做，即分别提取左右图像的特征点(常（cháng）用sift算法)，然（rán）后基于特征点配（pèi）合对极几何等约（yuē）束条件进行匹配（pèi）。不过（guò）这类匹配算法精度都不是太高，所以人们又（yòu）想了（le）其它一些方法来（lái）辅助匹配，结构光方法是目前用的比较多的，原理（lǐ）不难理解，就（jiù）是（shì）向目（mù）标物体（tǐ）投（tóu）射编码（mǎ）的光，然（rán）后对（duì）相机图像进行解（jiě）码，从而得到点对（duì），举个简单的例子，我们把一个（gè）小方块的图案（àn）用投影（yǐng）仪投到（dào）物体表面，然后识别左右相机图像中的小方（fāng）块，如（rú）果（guǒ）这个小方块很小，看作一个点，那么我们就（jiù）得到了一（yī）个点（diǎn）对。 贴个线（xiàn）结构光的示意图：
这（zhè）个（gè）示意图里面只有一个（gè）相机，其实投影仪是可以看作（zuò）相（xiàng）机的：投出（chū）的光图（tú）案照射在物体表面相当（dāng）于被拍照的物（wù）体，而（ér）投影（yǐng）仪的输入图（tú）像则相当于相机拍出来的（de）照片，所以投影仪（yí）也是（shì）当（dāng）作相机并用同样（yàng）的（de）方法（fǎ）来（lái）标（biāo）定内外参，即（jí）上（shàng）图（tú）本质上也是（shì）双目视觉系统。 总结一下（xià），双目视（shì）觉三维重建（jiàn）的基本过程：相机内参、外参标定 -> 立体匹配（pèi） -> 光学三角形求解，这（zhè）里面最核（hé）心、也（yě）最影响重建（jiàn）效果的就是立体匹配。 贴几张本人实验（yàn）的（de）图（tú）(用的最基本的格雷（léi）码结（jié）构光)：
以上说的都（dōu）是双（shuāng）目视觉三维重建，实际上还有其它一些重（chóng）建方法，如早（zǎo）期的探针法，简单粗（cū）暴（bào），直接拿探针在物体表（biǎo）面移动，一个点一个（gè）点测（cè）坐标；还有一类通过直接测（cè）距来进行三（sān）维重建（jiàn），如（rú）超声波、TOF，即（jí）对物体表面逐点用声、光程（chéng）差来测距，从而得（dé）到三维点云；光学方法分为主动和被动两大类（lèi），主（zhǔ）动（dòng）和被（bèi）动指的是是否向物体（tǐ）表面投（tóu）光，主（zhǔ）动方法有激光扫描、相位测量以（yǐ）及我毕设的研究课题结（jié）构光方法（fǎ）等，被动方法有（yǒu）单目（mù）视觉(如阴影法)和上文所述的立体视差方法等（děng）等。 目前还（hái）有一类三维重（chóng）建（jiàn）方法非常火（huǒ）：SFM(Structure from Motion)，这类方法的特（tè）点是不需要相机参数，仅（jǐn）仅根据一系列图像就能（néng）进行三维（wéi）重建，也就（jiù）是说，你随便（biàn）拿个手（shǒu）机对着（zhe）物体（tǐ）拍一些（xiē）图片（piàn）就能重建（jiàn）这个物（wù）体的三维模型，大家可（kě）以去（qù）体验下AutoDesk公司的Autodesk 123D Catch，除了近距离物体的三维重（chóng）建，SFM还有更激动人心的应用：大型场景三维重建，感（gǎn）兴趣的可以看看这个Building Rome in a Day，他们在flickr上搜索两百万（wàn）张罗（luó）马的照片（piàn），通（tōng）过亚马逊（xùn）提供的计算服务，最终得出整（zhěng）个城（chéng）市的三维模型，是不是（shì）又有云（yún）计算、大（dà）数据的感觉。。。这波人貌似有（yǒu）几个是Google Earth团（tuán）队的（de）。 原理（lǐ）上其实也（yě）不难理解：从特征点（diǎn）对入手，反向求解出相机的（de）内外参(选定一个相机（jī）作为世界坐标系)，然后重建更多的点。 大家应该对电影《普（pǔ）罗米修斯》里面的用于洞穴建模的飞行器印象（xiàng）深刻（kè）：
|
