一文快速了解“工業(yè)相機(jī)”

典型的機(jī)器視覺系統(tǒng)主要由光源、鏡頭、工業(yè)相機(jī)、圖像采集卡或圖像處理器，以及控制輸出單元等硬件構(gòu)成。其中，工業(yè)相機(jī)是機(jī)器視覺系統(tǒng)最核心的組件，其本質(zhì)的功能就是將光信號(hào)轉(zhuǎn)變成為有序的電信號(hào)，再將該信號(hào)模數(shù)轉(zhuǎn)換并送到處理器后以完成圖像的處理、分析和識(shí)別。選擇合適的工業(yè)相機(jī)是機(jī)器視覺系統(tǒng)設(shè)計(jì)的重要環(huán)節(jié)，工業(yè)相機(jī)類型不僅直接決定所采集到的圖像分辨率、圖像質(zhì)量，同時(shí)也與整個(gè)系統(tǒng)的運(yùn)行模式直接相關(guān)。

工業(yè)相機(jī)有多種分類方法，比較常見有：按感光芯片的類型分CCD（電荷耦合器件）和CMOS（互補(bǔ)金屬氧化物半導(dǎo)體），根據(jù)輸出色彩分為黑白和彩色，按像元的排列方式可分為線陣和面陣，按成像維度可為二維（2D）和三維（3D）等。本文將針對(duì)這四類分法，研究和討論工業(yè)相機(jī)的基本原理及技術(shù)發(fā)展。

1. 工業(yè)相機(jī)與普通數(shù)碼相機(jī)的差異

圖1 工業(yè)相機(jī)與普通數(shù)碼相機(jī)

機(jī)器視覺的主要目的是代替人眼來做測(cè)量和判斷，所以工業(yè)相機(jī)通常被安裝在工廠快速運(yùn)轉(zhuǎn)的流水線上，在一些不適于人工作業(yè)的危險(xiǎn)環(huán)境或者人眼視覺難以滿足要求的場(chǎng)合。雖然在成像原理方面，工業(yè)相機(jī)與普通數(shù)碼相機(jī)相差無幾，但為滿足工業(yè)檢測(cè)特殊需要，工業(yè)相機(jī)具有較高的圖像穩(wěn)定性、高傳輸能力和高抗干擾能力等特點(diǎn)，在拍攝速度、精度和可重復(fù)性等方面，都遠(yuǎn)勝于普通數(shù)碼相機(jī)，而且價(jià)格也高很多，堪稱相機(jī)中的“高富帥”。

表1 工業(yè)相機(jī)和普通數(shù)碼相機(jī)的比較

2. CCD相機(jī)和CMOS相機(jī)

圖像傳感器是工業(yè)相機(jī)的核心感光元件，當(dāng)前圖像傳感器主要分為電荷耦合器件（Charge Coupled Device，CCD）和互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductors，CMOS）兩種。

CCD和CMOS圖像傳感器感光原理類似，基本上都是利用感光二極管（photodiode）進(jìn)行光與電的轉(zhuǎn)換，將圖像轉(zhuǎn)換為數(shù)字信息，它們的主要差異在數(shù)字信號(hào)傳送方式的不同。如圖2所示，CCD圖像傳感器每一行中每一個(gè)像素（pixel）電荷信號(hào)都會(huì)依序傳送到下一個(gè)像素中，由最底端的部分輸出，再經(jīng)由傳感器邊緣的放大器進(jìn)行放大輸出；而在CMOS圖像傳感器中，每個(gè)像素都會(huì)連接一個(gè)放大器及模數(shù)轉(zhuǎn)換電路，用類似內(nèi)存電路的方式將信號(hào)輸出。正是因?yàn)榻Y(jié)構(gòu)和工作原理的差異，導(dǎo)致CCD和CMOS圖像傳感器具有不同的特性。CCD圖像傳感器在靈敏度、分辨率，以及噪聲控制等方面均優(yōu)于CMOS圖像傳感器，CMOS圖像傳感器則具有低成本、低耗電以及高整合度的特性。

圖2 CCD和CMOS圖像傳感器芯片結(jié)構(gòu)

隨著CCD與CMOS圖像傳感器制造技術(shù)的不斷進(jìn)步，兩者的差異正在逐漸縮小，例如CCD圖像傳感器不斷降低耗電量，以期應(yīng)用于移動(dòng)通訊市場(chǎng)，例如近年來基于CCD的ToF圖像傳感器進(jìn)入市場(chǎng)；CMOS圖像傳感器則持續(xù)提升分辨率與靈敏度，以期應(yīng)用于更高級(jí)的影像產(chǎn)品市場(chǎng)。雖然業(yè)界普遍認(rèn)為CMOS取代CCD是必然趨勢(shì)，在2015年CCD圖像傳感器的主要制造商索尼公司（Sony）甚至發(fā)布了其終止量產(chǎn)CCD的時(shí)間表。不過目前來看，很多工業(yè)或?qū)I(yè)應(yīng)用領(lǐng)域基于CCD圖像傳感器技術(shù)仍占據(jù)重要地位，在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)，兩者應(yīng)該是共存的關(guān)系。其實(shí)，CMOS圖像傳感器的最大的優(yōu)勢(shì)是能夠與圖像采集和信號(hào)處理等功能集成實(shí)現(xiàn)片上系統(tǒng)（SoC），隨著機(jī)器視覺系統(tǒng)從基于PC的板級(jí)式視覺系統(tǒng)向能嵌入更多功能、更小型的智能相機(jī)系統(tǒng)發(fā)展，CMOS圖像傳感器必將成為最后的贏家。

3. 黑白相機(jī)與彩色相機(jī)

無論是CCD還是CMOS圖像傳感器，其原理都是將光子轉(zhuǎn)換為電子，其中光子數(shù)目與電子數(shù)目成比例。對(duì)每個(gè)像素，統(tǒng)計(jì)其電子數(shù)目就形成反映光線強(qiáng)弱的灰度圖像，也就是說CCD和CMOS圖像傳感器是“色盲”，不具備辨色的能力，只能形成黑白圖像，如圖3（左）。

左：黑白模式；中：三棱鏡模式；右：拜爾濾波片模式

圖3 不同色彩模式的工業(yè)相機(jī)

為了獲得彩色圖像，通常使用三棱鏡或?yàn)V光片的方法采集顏色信息。三棱鏡模式：采用三棱鏡將射入的光分成三束，每束光都由不同的內(nèi)置光柵來過濾出某一種三原色，然后使用三塊CCD分別感光，如圖3（中）。然后再將這三張圖像合成一張高分辨率、色彩精確的圖像。由于該方法需要三塊感光芯片，造價(jià)比較昂貴。

如果考慮到價(jià)格因素，柯達(dá)的拜爾（Bayer）提出了一種廉價(jià)的折中方案：只用一塊圖像傳感器，就解決了顏色的識(shí)別。他的做法是在圖像傳感器前面，設(shè)置一個(gè)濾光片，上面布滿了濾光點(diǎn)，與下層的像素一一對(duì)應(yīng)。如圖3（右），Bayer濾光片上的濾光點(diǎn)的排列是有規(guī)律的：每個(gè)綠點(diǎn)的四周，分布著2個(gè)紅點(diǎn)、2個(gè)藍(lán)點(diǎn)、4個(gè)綠點(diǎn)。由于人眼對(duì)綠色最為敏感，所以綠色是紅、藍(lán)的兩倍。由于每個(gè)濾光點(diǎn)只能通過紅、綠、藍(lán)之中的一種顏色，但是在輸出時(shí)，所有像素都應(yīng)該有這三種顏色的信息，被濾除的兩種顏色分量值在后期的算法處理中通過插值法來補(bǔ)回。

Bayer濾光片的方法顯著優(yōu)點(diǎn)在于它能節(jié)省成本，當(dāng)前絕大多數(shù)彩色相機(jī)都采用此項(xiàng)技術(shù)。不過，黑白相機(jī)采集的是所有波長(zhǎng)的光子，而Bayer彩色相機(jī)僅接受RGB三個(gè)波段的光子，并且會(huì)做一個(gè)去馬賽克的鄰域平均操作，因此無論是光通量還是細(xì)節(jié)表現(xiàn)均弱于灰度相機(jī)，如圖4，對(duì)比了彩色相機(jī)與黑白相機(jī)在相同環(huán)境下的成像。所以，如果不需要顏色作為檢驗(yàn)需求時(shí)，工業(yè)相機(jī)一般選擇黑白相機(jī)，因?yàn)樵趽碛邢嗤姆直媛是疤嵯拢诎紫鄼C(jī)精度更高。

圖4 彩色相機(jī)成像細(xì)節(jié)（左）；黑白相機(jī)成像細(xì)節(jié)（右）

4. 線陣相機(jī)和面陣相機(jī)

工業(yè)相機(jī)根據(jù)像元的排列方式可分為線陣相機(jī)和面陣相機(jī)，線陣、面陣相機(jī)都有各自的優(yōu)點(diǎn)和缺點(diǎn)，適用于不同應(yīng)用環(huán)境。

圖5 面陣相機(jī)（左）與線陣相機(jī)（右）

線陣相機(jī)，顧名思義是被測(cè)視野呈“線”狀，它的傳感器通常只有一行感光元素，以“線”掃描的方式連續(xù)拍照，再合成一張巨大的二維圖像。在某些應(yīng)用中，如高頻掃描和高分辨率的場(chǎng)合，相比面陣相機(jī)，線陣相機(jī)具有特定的優(yōu)勢(shì)。舉例來說，如圖6，檢測(cè)圓形或柱形物品時(shí)，可能需要使用多臺(tái)面陣相機(jī)，才能覆蓋到物品的整個(gè)表面。但如果我們將物品置于一臺(tái)線陣相機(jī)前面，然后旋轉(zhuǎn)物品，通過這種方式將圖像展開，我們可以采集到整個(gè)表面的圖像。而且，線陣相機(jī)也更容易安裝到狹小的應(yīng)用空間，比如在相機(jī)必須通過輸送帶上的滾軸來查看物品底部的情況。另外，相比傳統(tǒng)面陣相機(jī)，線陣相機(jī)通常也能夠提供更高的分辨率。由于線陣相機(jī)需要物品進(jìn)行運(yùn)動(dòng)來創(chuàng)建圖像，它們通常非常適合用于檢測(cè)處于連續(xù)運(yùn)動(dòng)狀態(tài)的產(chǎn)品。

圖6 線陣相機(jī)能夠：（a）展開柱形物品以進(jìn)行檢測(cè)；（b）將視覺系統(tǒng)安裝到空間狹小的應(yīng)用環(huán)境中；（c）滿足高分辨率檢測(cè)要求；（d）檢測(cè)處于連續(xù)運(yùn)動(dòng)狀態(tài)的物品

相比線陣相機(jī)，面陣相機(jī)是以“面”為單位來進(jìn)行圖像采集，面陣相機(jī)的傳感器擁有更多的感光像素，以矩陣排列。面陣相機(jī)可以一次性獲取完整的目標(biāo)圖像，比線陣相機(jī)具有更快的檢測(cè)速度。大多數(shù)常見的檢測(cè)相機(jī)都基于面陣掃描，包括測(cè)量面積、形狀、尺寸、位置，甚至溫度，不過面陣相機(jī)每行的信息沒有線陣多，幀幅率有限。相機(jī)像素通常用萬(wàn)為單位表示，以矩陣排列，比如1百萬(wàn)像素相機(jī)的像素矩陣為W x H（寬 x 高）=1000 x 1000。相機(jī)的分辨率是指一個(gè)像素表示實(shí)際物體的大小，用um x um表示，數(shù)值越小，分辨率越高。分辨率是由選擇的鏡頭焦距決定的，同一種相機(jī)，選用不同焦距的鏡頭，分辨率就不同，如圖7。在表現(xiàn)圖像細(xì)節(jié)方面，不是由相機(jī)的像素多少來決定的，而是由分辨率決定的。同等分辨率條件下，像素越多，可以成像的區(qū)域面積越大。雖然清晰度并不是由像素決定，但是像素大的相機(jī)，可以減少拍照次數(shù)，從而提高了速度。

圖7 同一種相機(jī)，選用不同焦距的鏡頭，分辨率就不同

5. 從平面（2D）走向立體（3D）

無論線陣相機(jī)還是面陣相機(jī)都只能實(shí)現(xiàn)2D成像，缺乏深度的信息，隨著檢測(cè)精度和應(yīng)用場(chǎng)景復(fù)雜度的增加，2D相機(jī)越來越難堪重任，可以測(cè)量距離和進(jìn)行三維建模的3D相機(jī)應(yīng)運(yùn)而生。隨著3D視覺技術(shù)不斷突破，3D相機(jī)在精度、速度和靈活度方面遠(yuǎn)超2D相機(jī)，在許多傳統(tǒng)視覺“痛點(diǎn)性應(yīng)用場(chǎng)景”中大顯身手。

圖8 2D檢測(cè)和3D檢測(cè)的差異比較：2D檢測(cè)根據(jù)灰度信息進(jìn)行外觀尺寸的檢測(cè)和識(shí)別，而3D檢測(cè)則利用包含高度信息在內(nèi)的（XYZ坐標(biāo)）條件進(jìn)行檢測(cè)辨別

根據(jù)測(cè)量原理不同，主流的3D相機(jī)一般有三種方案：飛行時(shí)間法、結(jié)構(gòu)光法、雙目立體視覺法，簡(jiǎn)單介紹如下：

（1）飛行時(shí)間是從Time of Flight直譯過來的，簡(jiǎn)稱ToF。其測(cè)距原理是通過連續(xù)發(fā)射經(jīng)過調(diào)制的特定頻率的光脈沖（一般為不可見光）到被觀測(cè)物體上，然后接收從物體反射回去的光脈沖，通過探測(cè)光脈沖的飛行（往返）時(shí)間來計(jì)算被測(cè)物體離相機(jī)的距離，見圖9。

圖9 飛行時(shí)間測(cè)距原理

（2）結(jié)構(gòu)光法就是使用提前設(shè)計(jì)好的具有特殊結(jié)構(gòu)的圖案（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等），將圖案投影到三維空間物體表面上，使用另外一個(gè)相機(jī)觀察在三維物理表面成像的畸變情況。如果結(jié)構(gòu)光圖案投影在該物體表面是一個(gè)平面，那么觀察到的成像中結(jié)構(gòu)光的圖案就和投影的圖案類似，沒有變形，只是根據(jù)距離遠(yuǎn)近產(chǎn)生一定的尺度變化。但是，如果物體表面不是平面，那么觀察到的結(jié)構(gòu)光圖案就會(huì)因?yàn)槲矬w表面不同的幾何形狀而產(chǎn)生不同的扭曲變形，而且根據(jù)距離的不同而不同，根據(jù)已知的結(jié)構(gòu)光圖案及觀察到的變形，就能根據(jù)算法計(jì)算被測(cè)物的三維形狀及深度信息，見圖10。

圖10 結(jié)構(gòu)光測(cè)距原理

（3）雙目立體視覺法仿人眼成像原理，通過計(jì)算空間中同一個(gè)物體在兩個(gè)相機(jī)成像的視差得到物體離相機(jī)的距離，其算法也是根據(jù)三角關(guān)系計(jì)算，見圖11。

圖11 雙目視覺測(cè)距原理

這三種3D視覺方案在檢測(cè)距離上、精度、檢測(cè)速度各有優(yōu)缺點(diǎn)，適用于不同的應(yīng)用場(chǎng)景，目前處于三國(guó)鼎立之勢(shì)，如表2。結(jié)構(gòu)光方案優(yōu)勢(shì)在于技術(shù)成熟，深度圖像分辨率可以做得比較高，但容易受光照影響，室外環(huán)境不適宜使用；ToF方案抗干擾性能好，視角更寬，不足是深度圖像分辨率較低，主要用于簡(jiǎn)單避障和視覺導(dǎo)航，不適合高精度場(chǎng)合。雙目方案，成本相對(duì)前兩種方案最低，但是深度信息依賴純軟件算法得出，此算法復(fù)雜度高，難度很大，處理芯片需要很高的計(jì)算性能，同時(shí)它也繼承了普通RGB攝像頭的缺點(diǎn)：在昏暗環(huán)境下以及特征不明顯的情況下并不適用。當(dāng)然這三種方案在發(fā)展過程中也有一些互相融合趨勢(shì)，如主動(dòng)雙目+結(jié)構(gòu)光，取長(zhǎng)補(bǔ)短，使3D相機(jī)能適應(yīng)更多的場(chǎng)景。也有一些場(chǎng)合可同時(shí)使用，如智能手機(jī)前置基本確認(rèn)會(huì)采用結(jié)構(gòu)光來做人臉識(shí)別，但是后置用來做增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用，結(jié)構(gòu)光和ToF方案都有應(yīng)用機(jī)會(huì)。

表2 3D視覺方案優(yōu)缺點(diǎn)比較

縱觀機(jī)器視覺的發(fā)展，主要經(jīng)歷了從黑白到彩色、從低分辨率到高分辨率、從靜態(tài)到動(dòng)態(tài)、從2D走向3D演變過程，工業(yè)相機(jī)作為核心硬件，其技術(shù)的迭代變化也是遵循相應(yīng)的發(fā)展。隨著工業(yè)自動(dòng)化以及機(jī)器視覺應(yīng)用領(lǐng)域多元化發(fā)展，工業(yè)相機(jī)市場(chǎng)也隨著機(jī)器市場(chǎng)的火熱而水漲船高。雖然目前高分辨率、高速等高端工業(yè)相機(jī)技術(shù)還主要掌握在國(guó)外大廠手中，包括基恩士、康耐視、Basler、AVT相機(jī)、Teledyne DALSA等，不過隨著國(guó)內(nèi)相機(jī)廠商技術(shù)的不斷積累和突破，國(guó)產(chǎn)工業(yè)相機(jī)品牌也開始從低端市場(chǎng)開始逐步取代進(jìn)口，如大恒圖像、華睿科技等。我們相信隨著全球制造中心從歐美向亞洲轉(zhuǎn)移，中國(guó)從制造大國(guó)向制造強(qiáng)國(guó)的升級(jí)和轉(zhuǎn)型過程，在市場(chǎng)和政策利好的背景下，這對(duì)中國(guó)的工業(yè)相機(jī)廠商而言，正是突破和迎頭趕超的好時(shí)機(jī)。