引自：《制造智能技術(shù)基礎(chǔ)》（主敬請(qǐng)關(guān)注：張智海, 副主敬請(qǐng)關(guān)注：李冬妮、蘇麗穎、張磊、賈旭杰、裴植、謝小磊）

該書已出版，詳細(xì)信息請(qǐng)見文末~

「 1. 物體分揀應(yīng)用 」

物體分揀應(yīng)用是建立在識(shí)別、檢測(cè)之后一個(gè)環(huán)節(jié)，通過(guò)機(jī)器視覺(jué)系統(tǒng)將圖像進(jìn)行處理，實(shí)現(xiàn)分揀。在機(jī)器視覺(jué)工業(yè)應(yīng)用中常用于食品分揀、零件表面瑕疵自動(dòng)分揀、棉花纖維分揀@。

智能在線分選系統(tǒng)是將自動(dòng)化、機(jī)械化和信息化結(jié)合在一起得新技術(shù)設(shè)備，近年來(lái)，隨著大批量生產(chǎn)速度得增長(zhǎng)和市場(chǎng)對(duì)產(chǎn)品質(zhì)量穩(wěn)定性要求得提高，人工分揀得方式已經(jīng)不能滿足市場(chǎng)需求。智能在線分選系統(tǒng)得研制具有重要得工程意義和廣闊得應(yīng)用前景，并且隨著物聯(lián)網(wǎng)技術(shù)得高速發(fā)展，在線分選裝置正朝著智能化、數(shù)字化、網(wǎng)絡(luò)化得方向發(fā)展。

對(duì)于特征明顯并且不隨放置位置變化得部位，設(shè)計(jì)相應(yīng)得直接特征提取算法，利用特征檢測(cè)識(shí)別該部位是否加工。而對(duì)于特征不明顯或者特征專家變化得部位，利用模擬人類視皮層中物體識(shí)別機(jī)制得機(jī)器學(xué)習(xí)算法自動(dòng)提取部位特征并利用SVM算法識(shí)別。系統(tǒng)得實(shí)際運(yùn)行情況表明，該方案專業(yè)快速有效得識(shí)別工件是否合格，錯(cuò)誤率約為千分之五，基本上達(dá)到了人眼得識(shí)別率。通過(guò)圖像識(shí)別檢測(cè)方法，智能制造裝備可實(shí)現(xiàn)目標(biāo)識(shí)別和分類、缺陷檢測(cè)、視覺(jué)測(cè)量@功能。圖像識(shí)別面臨得主要難題包括檢測(cè)對(duì)象多樣、特征多變、幾何結(jié)構(gòu)精密復(fù)雜，處于高速運(yùn)動(dòng)狀態(tài)?；谝曈X(jué)檢測(cè)和控制技術(shù)得智能制造裝備雖然功能、作業(yè)對(duì)象、結(jié)構(gòu)、運(yùn)動(dòng)控制方法、圖像處理方法差別較大，但其原理方案卻基本相同，如圖1所示。

圖1 智能制造裝備視覺(jué)檢測(cè)控制原理方案

智能制造裝備視覺(jué)檢測(cè)控制原理方案如圖1所示，智能制造裝備得機(jī)器視覺(jué)檢測(cè)控制系統(tǒng)由光源和成像系統(tǒng)、視覺(jué)檢測(cè)軟硬件、裝備和運(yùn)動(dòng)控制系統(tǒng)構(gòu)成。在視覺(jué)檢測(cè)和控制過(guò)程中，精密成像機(jī)構(gòu)和成像系統(tǒng)自動(dòng)獲取圖像，圖像經(jīng)過(guò)I/O接口傳輸?shù)綀D像處理硬件中，并經(jīng)過(guò)預(yù)處理、標(biāo)定分割、檢測(cè)識(shí)別、分類決策@過(guò)程，獲的位姿、質(zhì)量、分類@信息。運(yùn)動(dòng)控制系統(tǒng)根據(jù)作業(yè)任務(wù)，通過(guò)PLC或I/O接口板控制執(zhí)行器、機(jī)器人進(jìn)行位置、速度、力閉環(huán)控制。視覺(jué)檢測(cè)控制系統(tǒng)通過(guò)通信系統(tǒng)與整機(jī)控制器、裝備其他系統(tǒng)有機(jī)結(jié)合，實(shí)現(xiàn)自動(dòng)化操作。

「 2. 智能空瓶檢測(cè)分揀裝備 」

智能空瓶檢測(cè)分揀裝備是一種應(yīng)用在啤酒、飲料@大型制造自動(dòng)化生產(chǎn)線上，對(duì)清洗后和灌裝前得空瓶缺陷進(jìn)行視覺(jué)檢測(cè)和分揀得裝備?？掌咳毕葜饕ㄆ靠凇⑵可?、瓶底破損、可見異物和殘留液@。該裝備如圖2所示，由空瓶傳送系統(tǒng)、多成像系統(tǒng)、視覺(jué)檢測(cè)系統(tǒng)、殘留液檢測(cè)和分揀裝置組成。該裝備采用直線式傳送機(jī)構(gòu)，當(dāng)空瓶分別運(yùn)動(dòng)到瓶口、瓶身、瓶底檢測(cè)工位時(shí)，觸發(fā)光電傳感器，多成像系統(tǒng)自動(dòng)獲取各檢測(cè)區(qū)域得圖像，視覺(jué)檢測(cè)系統(tǒng)分別對(duì)各工位圖像進(jìn)行處理。在圖像處理過(guò)程中，對(duì)瓶口、瓶身、瓶底檢測(cè)區(qū)域進(jìn)行定位，然后分別對(duì)各區(qū)域進(jìn)行缺陷檢測(cè)，其中瓶身和瓶底采用基于局部掩膜得高頻系數(shù)提取和閾值方法，瓶口采用分塊和基于灰度得多層神經(jīng)網(wǎng)絡(luò)分類方法。最終分揀裝置根據(jù)多個(gè)工位檢測(cè)結(jié)果將存在缺陷得空瓶剔出生產(chǎn)線。

圖2 智能空瓶檢測(cè)分揀裝備

「 3. 精密電子視覺(jué)檢測(cè)與分揀裝備 」

精密電子視覺(jué)檢測(cè)與分揀裝備是應(yīng)用于電子制造生產(chǎn)線上，完成精密識(shí)別、定位、抓取、檢測(cè)和分揀@制造工序得智能裝備。如圖3所示，該裝備由上料機(jī)械手、PLC、傳送系統(tǒng)、精密視覺(jué)運(yùn)動(dòng)控制、高分辨率成像與視覺(jué)檢測(cè)系統(tǒng)、下料機(jī)械手、分揀控制器和裝備主控系統(tǒng)構(gòu)成。

圖3 精密電子視覺(jué)檢測(cè)與分揀裝備

該裝備作業(yè)包括上料、檢測(cè)和分揀3個(gè)環(huán)節(jié)。在上料環(huán)節(jié)，上料機(jī)械手采用手眼成像模式，在給定位置對(duì)電路板成像，采用Patmax方法識(shí)別和定位電路板，并結(jié)合相機(jī)內(nèi)外參數(shù)獲取電路板中心位姿。上料機(jī)械手運(yùn)動(dòng)到給定位姿，末端執(zhí)行器抓取對(duì)象，并移動(dòng)到傳送系統(tǒng)得夾具上方，再次成像并通過(guò)夾具定位獲取夾具空間位姿。機(jī)械手移動(dòng)執(zhí)行器到夾具正上方，并放置電路板到夾具上。在檢測(cè)環(huán)節(jié)，夾具在PLC得控制下移動(dòng)到檢測(cè)工位，并采用多個(gè)相機(jī)獲取高分辨率圖像，進(jìn)行拼接和缺陷檢測(cè)。在分揀環(huán)節(jié)，當(dāng)電路板運(yùn)動(dòng)到下料工位時(shí)，下料機(jī)械手采用手眼模式成像，識(shí)別和計(jì)算出夾具位姿，并移動(dòng)到夾具中心位置，執(zhí)行器抓取對(duì)象，根據(jù)質(zhì)量檢測(cè)結(jié)果將對(duì)象放置到不同位置，最終進(jìn)行精密電子組裝。

「 4. 醫(yī)藥智能視覺(jué)檢測(cè)分揀裝備 」

基于視覺(jué)檢測(cè)和控制技術(shù)得智能制造裝備雖然功能、作業(yè)對(duì)象、結(jié)構(gòu)、運(yùn)動(dòng)控制方法、圖像處理方法差別較大，但其原理方案卻基本相同。大型醫(yī)藥智能視覺(jué)檢測(cè)分揀裝備是應(yīng)用于制藥自動(dòng)化生產(chǎn)線上，對(duì)安瓿、口服液及輸液瓶@藥品質(zhì)量進(jìn)行高速、全自動(dòng)、在線檢測(cè)得裝備。待識(shí)別得雜質(zhì)主要包括圖4所示得玻屑、毛發(fā)、纖維@微弱可見異物如和瓶體破損、瓶口封裝污染@，該裝備還專業(yè)根據(jù)檢測(cè)結(jié)果自動(dòng)剔除不合格品。醫(yī)藥質(zhì)量檢測(cè)面臨雜質(zhì)類型多樣，微弱(檢測(cè)標(biāo)準(zhǔn)為50μm及以上)，部分雜質(zhì)附著于瓶底@難題。裝備采用多工位成像和精密旋轉(zhuǎn)–急停成像機(jī)構(gòu)，獲取雜質(zhì)得運(yùn)動(dòng)圖像序列。雜質(zhì)檢測(cè)采用序列圖像軌跡分析得方法，首先通過(guò)基于邊界得定位方法確定檢測(cè)區(qū)域，然后對(duì)相鄰幀圖像進(jìn)行空洞填充差分，并采用基于脈沖神經(jīng)網(wǎng)絡(luò)和Tsallis熵得圖像分割算法提取雜質(zhì)，通過(guò)雜質(zhì)不變特征分析運(yùn)動(dòng)軌跡，并實(shí)現(xiàn)雜質(zhì)得識(shí)別。在輸出星輪處，根據(jù)檢測(cè)結(jié)果，裝備將藥品進(jìn)行分類。

圖4 雜質(zhì)圖像

圖像和模式識(shí)別在工業(yè)應(yīng)用中，也面臨新挑戰(zhàn)。智能制造裝備是一種復(fù)雜精密光機(jī)電系統(tǒng)，要實(shí)現(xiàn)高速、高精度視覺(jué)檢測(cè)和控制，保障裝備得穩(wěn)定、可靠、高效運(yùn)行，必須在系統(tǒng)級(jí)進(jìn)行優(yōu)化設(shè)計(jì)。首先要保證成像系統(tǒng)獲取高質(zhì)量圖像，背景簡(jiǎn)單，以簡(jiǎn)化圖像識(shí)別算法，時(shí)序設(shè)計(jì)滿足實(shí)時(shí)性要求。其次，要實(shí)現(xiàn)光學(xué)感知、機(jī)械傳動(dòng)、電氣控制與計(jì)算機(jī)軟硬件協(xié)同工作，并采用誤差分配原則控制精度。為進(jìn)一步擴(kuò)展視覺(jué)檢測(cè)控制技術(shù)得應(yīng)用范圍，并提高精度、準(zhǔn)確性和穩(wěn)定性，以下挑戰(zhàn)問(wèn)題有待進(jìn)一步研究解決:

（1）先進(jìn)工業(yè)成像技術(shù)。當(dāng)前采用得成像技術(shù)大多局限于可見光成像，導(dǎo)致在某些應(yīng)用中，獲的得圖像特異性差，很難實(shí)現(xiàn)圖像檢測(cè)和識(shí)別。為此需要從光源、光強(qiáng)和頻譜控制、精密光路控制、先進(jìn)陣列感知、信號(hào)調(diào)理@方面全面研究成像技術(shù)，研究不同對(duì)象與電磁波相互作用和成像得新現(xiàn)象、新原理、新方法。將多種先進(jìn)成像技術(shù)，如激光掃描成像、弱干涉成像、層析成像、太赫茲成像、電容成像@應(yīng)用于工業(yè)視覺(jué)檢測(cè)和控制，豐富視覺(jué)感知手段。

（2）高性能圖像處理技術(shù)。為提高視覺(jué)檢測(cè)和控制得精度，通常需采用復(fù)雜圖像處理流程，導(dǎo)致計(jì)算復(fù)雜度高;同時(shí)智能制造裝備對(duì)實(shí)時(shí)性要求極高，造成了巨大得計(jì)算壓力。為此，需研究高性能圖像處理裝置，并且對(duì)圖像處理算法進(jìn)行并行化，實(shí)現(xiàn)實(shí)時(shí)圖像處理。

（3）自動(dòng)化圖像處理流程設(shè)計(jì)。圖像處理過(guò)程是由多個(gè)圖像處理步驟構(gòu)成，每個(gè)步驟都專業(yè)采用多種處理方法，造成圖像處理流程設(shè)計(jì)困難。為針對(duì)特定應(yīng)用實(shí)現(xiàn)自動(dòng)圖像處理流程設(shè)計(jì)，首先分析不同圖像處理方法得異同，以及實(shí)現(xiàn)得處理效果，并分析不同參數(shù)對(duì)于處理結(jié)果得影響。根據(jù)任務(wù)、先驗(yàn)知識(shí)和圖像特征，選擇允許圖像處理算法和參數(shù)，實(shí)現(xiàn)自動(dòng)圖像處理流程設(shè)計(jì)。

（4）智能視覺(jué)控制技術(shù)。當(dāng)前視覺(jué)伺服研究得對(duì)象大多面向傳統(tǒng)得6自由度機(jī)械手，其視覺(jué)控制相對(duì)簡(jiǎn)單。隨著作業(yè)復(fù)雜性增加，新型機(jī)器人如柔性機(jī)械手、并聯(lián)機(jī)械手、精密多關(guān)節(jié)機(jī)械手@應(yīng)用于精密視覺(jué)伺服;同時(shí)特種作業(yè)如超高精度細(xì)微操作、限定環(huán)境作業(yè)對(duì)機(jī)器人避障、路徑規(guī)劃和作業(yè)精度、速度都產(chǎn)生了新得要求。為此要研究智能視覺(jué)伺服和限定環(huán)境下視覺(jué)伺服控制方法，將機(jī)器人智能控制、高精密電機(jī)運(yùn)動(dòng)控制和機(jī)器視覺(jué)技術(shù)有機(jī)融合，實(shí)現(xiàn)高速高精度控制。

（5）精密光機(jī)電協(xié)同控制。智能制造裝備是機(jī)器視覺(jué)、高速高精度伺服控制、精密機(jī)械和智能控制軟件得深度集成，裝備得高效、可靠運(yùn)行需要各部分得協(xié)同工作。為此需研究高可靠性得光機(jī)電協(xié)同和集成技術(shù)，并通過(guò)狀態(tài)監(jiān)控和故障診斷技術(shù)提高裝備自動(dòng)化程度和容錯(cuò)能力。

（6）視覺(jué)測(cè)控應(yīng)用高穩(wěn)定性、高可靠性和適應(yīng)性研究。由于圖像信息屬于非線性多維信息，在應(yīng)用中存在多種不確定性，限制了裝備得穩(wěn)定性和可靠性。為此需研究提高視覺(jué)信息穩(wěn)定性、可靠性得方法，以及誤差控制方法，提高裝備對(duì)制造環(huán)境得適應(yīng)能力。

近日：智造苑