AI在工業(yè)檢測(cè)中的應(yīng)用與發(fā)展，也對(duì)機(jī)器視覺(jué)行業(yè)產(chǎn)生重大影響

在過(guò)去幾年中，人工智能技術(shù)的蓬勃發(fā)展影響和改造了很多行業(yè)，也對(duì)機(jī)器視覺(jué)行業(yè)產(chǎn)生了重大影響。人工智能技術(shù)在圖像識(shí)別、特征提取和分類、缺陷檢測(cè)等方面具有巨大優(yōu)勢(shì)，為工業(yè)缺陷檢測(cè)提供了新的解決方案。有了人工智能的加持，機(jī)器視覺(jué)在對(duì)智能制造的自動(dòng)化水平提升過(guò)程中能夠發(fā)揮更多的作用。

人工智能技術(shù)首先改變了視覺(jué)檢測(cè)系統(tǒng)的開(kāi)發(fā)方式。傳統(tǒng)的視覺(jué)開(kāi)發(fā)方式，是以有經(jīng)驗(yàn)的算法工程師為主，針對(duì)每個(gè)具體場(chǎng)景，分析工件圖像，根據(jù)主要特征和經(jīng)驗(yàn)來(lái)確定算法思路，調(diào)用專用的圖像處理庫(kù)，完成主要的圖像檢測(cè)算法。基于深度學(xué)習(xí)的開(kāi)發(fā)方式則完全不同，把以有經(jīng)驗(yàn)的人為中心的開(kāi)發(fā)方式，變成了流程化的操作步驟。前者以人為主，針對(duì)每一個(gè)場(chǎng)景需要有針對(duì)性的分析和設(shè)計(jì)，對(duì)人的要求較高；后者是統(tǒng)一的流程化操作，不同的應(yīng)用場(chǎng)景，操作流程和步驟都是一樣的，這就大大降低了對(duì)人員的要求，降低了視覺(jué)開(kāi)發(fā)的門(mén)檻，提高了視覺(jué)系統(tǒng)的開(kāi)發(fā)效率，使其能夠覆蓋更多的場(chǎng)景和應(yīng)用。

基于人工智能的視覺(jué)系統(tǒng)開(kāi)發(fā)流程主要包括以下步驟：

1、采集圖像。好的成像質(zhì)量，是視覺(jué)檢測(cè)系統(tǒng)成功的前提，這條傳統(tǒng)算法的要求，在今天的人工智能時(shí)代仍然適用。如何利用相機(jī)、光源及合理的打光方式，采集到高成像質(zhì)量的圖像，使被檢測(cè)對(duì)象對(duì)人眼清晰可見(jiàn)，這仍是我們首先要重視和保證的，這是機(jī)器視覺(jué)部件的核心目標(biāo)，也是光學(xué)系統(tǒng)的基礎(chǔ)，這些經(jīng)驗(yàn)知識(shí)，今天仍然重要。

2、標(biāo)注。標(biāo)注是人工智能新增的要求，傳統(tǒng)算法沒(méi)有它。目前的人工智能在工業(yè)場(chǎng)景上的應(yīng)用，主要還是基于遷移學(xué)習(xí)，預(yù)訓(xùn)練模型需要針對(duì)碎片化、細(xì)分的工業(yè)應(yīng)用場(chǎng)景做適配，那么就要求用戶告訴AI你要檢測(cè)的目標(biāo)是什么，這是通過(guò)標(biāo)注來(lái)完成的。你的標(biāo)注，就是AI的學(xué)習(xí)目標(biāo)。因此，標(biāo)注質(zhì)量會(huì)嚴(yán)重的影響AI學(xué)習(xí)和檢測(cè)的效果。標(biāo)注的越準(zhǔn)確，在學(xué)習(xí)充分的情況下，才有可能得到類似的檢測(cè)結(jié)果。好的標(biāo)注數(shù)據(jù)集，是AI視覺(jué)檢測(cè)系統(tǒng)成功的前提。

3、訓(xùn)練。訓(xùn)練是深度卷積網(wǎng)絡(luò)對(duì)標(biāo)注數(shù)據(jù)集進(jìn)行學(xué)習(xí)，自主提取樣本圖像中的多種維度特征信息，綜合得到圖像的內(nèi)在規(guī)律和多層次表示，以獲取分析預(yù)測(cè)能力，然后對(duì)驗(yàn)證集數(shù)據(jù)做出預(yù)測(cè)，根據(jù)預(yù)測(cè)偏差反饋修正卷積網(wǎng)絡(luò)的參數(shù)和特征權(quán)重，以使預(yù)測(cè)結(jié)果不斷逼近標(biāo)注信息（這也是為什么標(biāo)注質(zhì)量嚴(yán)重影響檢測(cè)質(zhì)量的原因），從而實(shí)現(xiàn)檢測(cè)任務(wù)。精度和誤差是訓(xùn)練過(guò)程中的兩個(gè)重要指標(biāo)，視覺(jué)檢測(cè)系統(tǒng)中的兩個(gè)關(guān)鍵指標(biāo)：誤檢率和漏檢率，和它們息息相關(guān)。

訓(xùn)練停止后，可得到模型在驗(yàn)證集上的驗(yàn)證結(jié)果，如誤檢率和漏檢率等。若指標(biāo)尚未達(dá)到檢測(cè)指標(biāo)要求，則需分析可能影響檢測(cè)精度的因素，比如：數(shù)據(jù)標(biāo)注質(zhì)量（是否標(biāo)全、標(biāo)對(duì)、標(biāo)準(zhǔn)確），樣本數(shù)量是否足夠、是否均衡，訓(xùn)練集與測(cè)試集數(shù)據(jù)分布是否一致，訓(xùn)練迭代次數(shù)，深度學(xué)習(xí)訓(xùn)練超參設(shè)置以及模型選擇等，可在修正這些因素之后，更新訓(xùn)練以得到更好的結(jié)果；若指標(biāo)符合檢測(cè)需求，則可進(jìn)入下一環(huán)節(jié)。

訓(xùn)練結(jié)束后，也可進(jìn)一步在測(cè)試集上測(cè)試模型的表現(xiàn)，便于快速評(píng)估技術(shù)可行性。這也是基于人工智能檢測(cè)算法的優(yōu)勢(shì)之一，對(duì)于常見(jiàn)的檢測(cè)任務(wù)，通過(guò)標(biāo)準(zhǔn)化的流程，可以在短時(shí)間內(nèi)（幾小時(shí)~幾天）完成技術(shù)可行性評(píng)估。

4、部署。把訓(xùn)練好的模型部署到現(xiàn)場(chǎng)進(jìn)行在線檢測(cè)，目前基于AI的檢測(cè)速度已經(jīng)和傳統(tǒng)算法檢測(cè)速度相當(dāng)，如果同時(shí)處理多個(gè)相機(jī)的數(shù)據(jù)或多幅圖像，利用GPU的并行計(jì)算和網(wǎng)絡(luò)模型的批量推理，檢測(cè)速度可能更快。

上線之后，隨著檢測(cè)的進(jìn)行，會(huì)得到各類別大量的圖像。在線檢測(cè)過(guò)程中若出現(xiàn)誤檢、漏檢情況，或者出現(xiàn)新的類別的曲線，可利用積攢的數(shù)據(jù)集對(duì)現(xiàn)有模型進(jìn)行更新訓(xùn)練，提高檢測(cè)精度。視覺(jué)系統(tǒng)長(zhǎng)期運(yùn)行后，隨著震動(dòng)、灰塵、光源老化等因素會(huì)導(dǎo)致成像質(zhì)量發(fā)生降低，進(jìn)而影響檢測(cè)精度，利用積攢的大量的數(shù)據(jù)集對(duì)現(xiàn)有模型進(jìn)行更新訓(xùn)練，甚至?xí)岣邫z測(cè)系統(tǒng)的精度，讓視覺(jué)檢測(cè)系統(tǒng)越用越準(zhǔn)，這也是基于人工智能的視覺(jué)檢測(cè)系統(tǒng)超越傳統(tǒng)視覺(jué)檢測(cè)系統(tǒng)的一個(gè)特點(diǎn)。

人工智能對(duì)視覺(jué)系統(tǒng)開(kāi)發(fā)的影響，不僅體現(xiàn)在流程上，更重要的是功能和性能。人工智能強(qiáng)大的學(xué)習(xí)能力和綜合歸納能力，大大拓展和豐富了機(jī)器視覺(jué)的應(yīng)用場(chǎng)景。目前，人工智能在機(jī)器視覺(jué)的主要應(yīng)用有：

1、分類。圖像分類是深度學(xué)習(xí)的典型應(yīng)用，是人工智能重新崛起的代表應(yīng)用，在某些方面，甚至超過(guò)了人類的水平。比如，由于農(nóng)產(chǎn)品個(gè)體間存在天然的差異，使得農(nóng)產(chǎn)品的檢測(cè)、分級(jí)、采摘等應(yīng)用的自動(dòng)化水平一直不高。人工智能強(qiáng)大的分類能力，使視覺(jué)不僅能用于工業(yè)產(chǎn)品的合格性檢查和分級(jí)應(yīng)用中，也已經(jīng)成功應(yīng)用于農(nóng)產(chǎn)品的質(zhì)檢、分級(jí)應(yīng)用中。

2、目標(biāo)檢測(cè)。目標(biāo)檢測(cè)是機(jī)器視覺(jué)的成熟應(yīng)用，在人工智能爆火之前，基于模板匹配的定位技術(shù)已經(jīng)廣泛應(yīng)用，人工智能基于大數(shù)據(jù)的學(xué)習(xí)能力和強(qiáng)大的參數(shù)調(diào)節(jié)能力，使其更能兼容各種變化因素，如：紋理、材質(zhì)、顏色、形狀、位置、方向、視角、光照、亮暗、位姿、變形、涂污、遮擋、縮放、濃淡、模糊、噪聲、扭曲等，拓展了目標(biāo)檢測(cè)應(yīng)用的范圍。

3、分割。實(shí)際應(yīng)用中，往往需要得到缺陷的位置、面積、長(zhǎng)寬等參數(shù)，以做后續(xù)處理。傳統(tǒng)的缺陷分割算法多基于灰度、對(duì)比度、輪廓，提取這些特征需要長(zhǎng)時(shí)間的參數(shù)調(diào)節(jié)且魯棒性不高，直接的后果就是現(xiàn)場(chǎng)調(diào)試周期過(guò)長(zhǎng)，人工智能可通過(guò)更新訓(xùn)練模型減少現(xiàn)場(chǎng)調(diào)試周期。

4、字符檢測(cè)與識(shí)別。與目標(biāo)檢測(cè)類似，字符檢測(cè)與識(shí)別也是久已有之。但深度學(xué)習(xí)使中文字符檢測(cè)與識(shí)別、手寫(xiě)體等非標(biāo)準(zhǔn)字體識(shí)別的準(zhǔn)確度提升了不止一個(gè)臺(tái)階。目前，基于深度學(xué)習(xí)的字符檢測(cè)與識(shí)別精度已完全超過(guò)傳統(tǒng)算法，成為此類應(yīng)用的首選。

5、無(wú)監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)，首先需要有大量的缺陷樣本進(jìn)行學(xué)習(xí)。而在工業(yè)制造領(lǐng)域，隨著生產(chǎn)工藝和自動(dòng)化生產(chǎn)水平的提升（這里面也有機(jī)器視覺(jué)的重要貢獻(xiàn)），產(chǎn)品的良率不斷提升，99.%甚至99.9%，在短時(shí)間內(nèi)獲取到足夠的缺陷樣本往往比較困難，尤其當(dāng)存在多種缺陷類別時(shí)。這就給人工智能的落地造成了困難。基于此，提出了無(wú)監(jiān)督學(xué)習(xí)。與人工檢測(cè)類似，人可以通過(guò)觀察合格產(chǎn)品后，就可以檢測(cè)缺陷產(chǎn)品。無(wú)監(jiān)督學(xué)習(xí)只學(xué)習(xí)合格產(chǎn)品圖像（這很容易獲得），提取合格產(chǎn)品圖像的內(nèi)在規(guī)律和多層次特征表示；檢測(cè)時(shí)，提取檢測(cè)圖像的特征，與合格產(chǎn)品的特征進(jìn)行比對(duì)，不一致的地方就是異常，由此完成檢測(cè)。無(wú)監(jiān)督學(xué)習(xí)，既降低了對(duì)缺陷樣本的要求，又省去了標(biāo)注工作量，與此同時(shí)，工業(yè)制品的一致性又非常高，是工業(yè)AI的新興方向之一。

時(shí)至今日，人工智能在工業(yè)領(lǐng)域已經(jīng)不是“行不行、能不能落地”的問(wèn)題，而是已經(jīng)在多個(gè)場(chǎng)景下落地實(shí)用，并取得成功。如今面臨的問(wèn)題是，針對(duì)工業(yè)場(chǎng)景中的應(yīng)用特點(diǎn)，如何對(duì)已有的人工智能算法進(jìn)行改進(jìn)和發(fā)展，使其更好的為工業(yè)缺陷檢測(cè)服務(wù)。經(jīng)過(guò)這幾年的應(yīng)用和實(shí)踐，人工智能和深度學(xué)習(xí)技術(shù)在工業(yè)缺陷檢測(cè)中仍然存在一些技術(shù)挑戰(zhàn)，需要通過(guò)不斷地研究和探索來(lái)解決。主要包括以下幾個(gè)方面：

1、數(shù)據(jù)采集和標(biāo)注困難。工業(yè)缺陷檢測(cè)數(shù)據(jù)的采集和標(biāo)注需要大量的人力和時(shí)間，而且數(shù)據(jù)質(zhì)量對(duì)模型的性能影響很大。有些缺陷面積小、數(shù)量多、種類雜，全部標(biāo)全工作量大，不標(biāo)或漏標(biāo)則會(huì)影響學(xué)習(xí)效果。因此，如何有效地采集和標(biāo)注工業(yè)缺陷檢測(cè)數(shù)據(jù)是一個(gè)非常關(guān)鍵的問(wèn)題。

2、訓(xùn)練樣本的不平衡問(wèn)題。有的工業(yè)制品表面形態(tài)多變，缺陷種類繁多，不同種類缺陷的數(shù)量差別很大，導(dǎo)致訓(xùn)練樣本的不平衡，這會(huì)影響模型的分類精度和魯棒性。除了通過(guò)設(shè)置不同類別權(quán)重和數(shù)據(jù)增廣等手段外，通過(guò)AIGC人工智能來(lái)自動(dòng)生成缺陷樣本以輔助訓(xùn)練也是一個(gè)重要的研究方向。

3、計(jì)算量。近年來(lái)，隨著相機(jī)硬件的快速發(fā)展，相機(jī)的分辨率大幅提升，千萬(wàn)像素以上的相機(jī)應(yīng)用非常普遍，與此同時(shí)精密制造水平的提升也對(duì)產(chǎn)品品質(zhì)檢測(cè)提出了更高的要求，因此工業(yè)應(yīng)用場(chǎng)景普通存在“圖像分辨率大、缺陷比較小”的情況，高分辨率圖像帶來(lái)的運(yùn)算量幾何倍數(shù)的增加會(huì)導(dǎo)致計(jì)算復(fù)雜度非常高，對(duì)網(wǎng)絡(luò)學(xué)習(xí)以及訓(xùn)練和推理使用的顯卡性能都提出了挑戰(zhàn)，進(jìn)而造成了訓(xùn)練效率的降低和成本的增加。因此，如何優(yōu)化算法和提高計(jì)算效率也是一個(gè)重要的研究方向。

4、漏檢率與誤檢率問(wèn)題。這兩個(gè)指標(biāo)是視覺(jué)檢測(cè)系統(tǒng)的核心指標(biāo)，對(duì)應(yīng)著人工智能算法的召回率和準(zhǔn)確率，而后者在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中是等價(jià)存在的，但實(shí)際應(yīng)用場(chǎng)景對(duì)二者的要求卻不盡相同。由于圖像數(shù)據(jù)的復(fù)雜性和噪聲的存在，工業(yè)缺陷檢測(cè)中仍然存在一定的漏檢和誤檢問(wèn)題。而質(zhì)檢環(huán)節(jié)對(duì)漏檢率要求是第一位的，不能讓缺陷產(chǎn)品流通到下一環(huán)節(jié)，造成進(jìn)一步的損失；在保證漏檢率達(dá)標(biāo)的條件下，再降低誤檢率，甚至可能允許存在一定量的誤檢率。實(shí)際場(chǎng)景的特殊要求，勢(shì)必要求人工智能算法在學(xué)習(xí)指標(biāo)上有所區(qū)分，做出調(diào)整。

5、未知類別問(wèn)題。人工智能僅能學(xué)習(xí)、識(shí)別訓(xùn)練樣本中存在的類別，而在實(shí)際檢測(cè)過(guò)程中，可能會(huì)出現(xiàn)新的類別，如新出現(xiàn)的缺陷，或者混入新的產(chǎn)品或異常情況，對(duì)于突發(fā)情況，人工智能算法只能從原有類別中找出它認(rèn)為最“相近”的一個(gè)類別作為答案，但這種“相近”和人眼所觀測(cè)的“相似”可能大相徑庭。因此，如果讓人工智能算法“知之為知之，不知為不知“，僅輸出靠譜的結(jié)果，以保證系統(tǒng)的可靠性，也是一個(gè)需要研究的問(wèn)題。

6、 理解模型的限制。人工智能模型目前仍是黑盒，模型學(xué)到的知識(shí)并不為人所知，模型做出判斷的依據(jù)我們也不僅所知，而這又直接影響檢測(cè)系統(tǒng)的安全性、可靠性和穩(wěn)定性。如何提高人工智能算法的可解釋性，分析圖像中對(duì)結(jié)果影響比較大的區(qū)域，鑒定其對(duì)不同特征的相關(guān)程度，增加模型的可視化和透明化，進(jìn)而理解模型的限制，從而實(shí)現(xiàn)更準(zhǔn)確、更穩(wěn)定、更可靠的工業(yè)缺陷檢測(cè)成為目前研究者的探索方向。

7、邊緣計(jì)算。在實(shí)際場(chǎng)景中使用人工智能算法進(jìn)行缺陷檢測(cè)還需要考慮算法依賴的計(jì)算資源、設(shè)備成本等問(wèn)題。這對(duì)于工業(yè)企業(yè)而言，也需要考慮成本收益比等實(shí)際問(wèn)題。工業(yè)場(chǎng)景的高生產(chǎn)節(jié)拍、低延遲、高響應(yīng)的特點(diǎn)決定了最適合使用邊緣計(jì)算。如何提高邊緣計(jì)算的速度，降低成本是主要核心訴求。檢測(cè)速度要求越高，計(jì)算量越大，硬件要求越高，成本越高。這需要具體情況具體分析，如果首要指標(biāo)是檢測(cè)速度，那么應(yīng)使用高性能顯卡進(jìn)行并行加速，可同時(shí)推理多張圖片來(lái)提速；如首先考慮成本，那么可使用CPU進(jìn)行計(jì)算，目前人工智能推理已可在CPU上推理并實(shí)現(xiàn)加速，同時(shí)也可利用多線程進(jìn)行加速；另外，智能相機(jī)也是一個(gè)不錯(cuò)的推理終端選擇。

8、數(shù)據(jù)安全與知識(shí)產(chǎn)權(quán)。數(shù)據(jù)隱私和信息安全問(wèn)題也是目前工業(yè)領(lǐng)域需要面對(duì)的挑戰(zhàn)，在數(shù)據(jù)獲取和使用過(guò)程中，需要保證數(shù)據(jù)的安全性和保密性，并且在使用過(guò)程中也要遵守相關(guān)的數(shù)據(jù)隱私保護(hù)法規(guī)。如何保護(hù)用戶現(xiàn)場(chǎng)的數(shù)據(jù)，如何保護(hù)訓(xùn)練出的模型，保護(hù)各方在人工智能方面的投入，處理好開(kāi)源和商業(yè)使用以及知識(shí)產(chǎn)權(quán)之間的關(guān)系，避免產(chǎn)品走向國(guó)際舞臺(tái)時(shí)可能面臨的糾紛，也值得參與各方認(rèn)真研究。

9、工業(yè)大模型。人工智能在最近又有爆發(fā)式的突破，大模型的威力已暫露頭角，在很多領(lǐng)域展現(xiàn)出令人驚艷的表現(xiàn)。碎片化、細(xì)分的工業(yè)應(yīng)用場(chǎng)景未來(lái)會(huì)不會(huì)被大模型占領(lǐng)，能不能基于大量的工業(yè)場(chǎng)景數(shù)據(jù)訓(xùn)練一個(gè)統(tǒng)一的工業(yè)大模型，是一個(gè)激動(dòng)人心的研究方向。

人工智能技術(shù)在工業(yè)缺陷檢測(cè)領(lǐng)域的應(yīng)用前景廣闊，它已經(jīng)改變了機(jī)器視覺(jué)，未來(lái)還將發(fā)揮更大的作用。期待人工智能技術(shù)在工業(yè)缺陷檢測(cè)中的自主學(xué)習(xí)和優(yōu)化能力得到進(jìn)一步的提高，通過(guò)不斷地學(xué)習(xí)和適應(yīng)，可以對(duì)缺陷進(jìn)行更加準(zhǔn)確的識(shí)別和判斷，并根據(jù)實(shí)時(shí)數(shù)據(jù)和反饋不斷優(yōu)化和調(diào)整算法，在實(shí)踐中不斷提高缺陷檢測(cè)的準(zhǔn)確率和效率，實(shí)現(xiàn)更加準(zhǔn)確、高效、智能的機(jī)器視覺(jué)和工業(yè)缺陷檢測(cè)模式，使人工智能技術(shù)在工業(yè)缺陷檢測(cè)中得到更為廣泛的應(yīng)用，使得工業(yè)產(chǎn)品的質(zhì)量得到進(jìn)一步的提升和保障，從而提高工業(yè)生產(chǎn)的效率和成本效益，助力工業(yè)制造行業(yè)更好地服務(wù)社會(huì)和經(jīng)濟(jì)的發(fā)展。