飛槳PaddleSeg助力中國(guó)商飛航材自動(dòng)化無(wú)損檢測(cè)

AI應(yīng)用信息1年前 (2024)發(fā)布 XIAOT

航空制造產(chǎn)業(yè)作為國(guó)家十三五規(guī)劃和“中國(guó)制造2025”的重點(diǎn)發(fā)展領(lǐng)域之一，已經(jīng)成為國(guó)家戰(zhàn)略性產(chǎn)業(yè)，對(duì)于提升整體工業(yè)實(shí)力具有重大意義。而質(zhì)檢保障著制造的安全，飛機(jī)制造生產(chǎn)領(lǐng)域已使用了AI技術(shù)進(jìn)行智能質(zhì)檢，在細(xì)微之處保障著中國(guó)飛機(jī)的質(zhì)量安全。

9月29日早上9點(diǎn)，AIIA2020人工智能開(kāi)發(fā)者大會(huì)百度公開(kāi)課于北京首鋼園成功舉辦。其中，中國(guó)商用飛機(jī)有限責(zé)任公司主管研發(fā)工程師陳少敏發(fā)表了關(guān)于《飛機(jī)制造業(yè)復(fù)合材料質(zhì)檢技術(shù)方案》的演講，該演講共分為航空復(fù)合材料檢測(cè)的背景、圖像分割技術(shù)介紹和基于飛槳的航空復(fù)合材料檢測(cè)實(shí)踐三部分內(nèi)容進(jìn)行介紹。

飛槳PaddleSeg助力中國(guó)商飛航材自動(dòng)化無(wú)損檢測(cè)

（圖示：中國(guó)商用飛機(jī)有限責(zé)任公司

主管研發(fā)工程師陳少敏發(fā)表演講）

以下為演講實(shí)錄：

航空復(fù)合材料質(zhì)檢

背景及問(wèn)題描述

大家好，我是來(lái)自中國(guó)商飛的陳少敏，現(xiàn)任中國(guó)商飛主管研發(fā)工程師，主要從事于民用飛機(jī)領(lǐng)域人工智能技術(shù)應(yīng)用落地，今天我分享的是飛機(jī)制造業(yè)復(fù)合材料質(zhì)檢技術(shù)與應(yīng)用。

隨著國(guó)產(chǎn)大飛機(jī)型號(hào)研制的推進(jìn)，中國(guó)商飛北研中心承擔(dān)的航空復(fù)合材料許用值試驗(yàn)以及疲勞門(mén)檻值的試驗(yàn)日趨加重，對(duì)試驗(yàn)件無(wú)損檢測(cè)需求也逐漸增加。但是無(wú)損檢測(cè)的過(guò)程對(duì)檢測(cè)人員的專業(yè)知識(shí)有著很強(qiáng)的依賴性，同時(shí)人工缺陷評(píng)定過(guò)程速度慢，使其成為制約任務(wù)進(jìn)度的瓶頸。

流程中存在的問(wèn)題可以總結(jié)為四點(diǎn)：

單試驗(yàn)件檢測(cè)時(shí)間長(zhǎng)：20分鐘。
檢測(cè)數(shù)量大：?jiǎn)闻?000塊，每年約3批次。
信息化程度低：容易造成人為疏忽。
設(shè)備開(kāi)放程度低：優(yōu)化流程困難大。

在北研中心先進(jìn)材料結(jié)構(gòu)實(shí)驗(yàn)室檢測(cè)人員對(duì)型號(hào)復(fù)合材料樣塊進(jìn)行無(wú)損檢測(cè)時(shí)，通常單批次試驗(yàn)樣件為2000塊以上，單個(gè)試驗(yàn)件測(cè)試、評(píng)估并出具報(bào)告需20分鐘以上，人工缺陷評(píng)定工時(shí)數(shù)超過(guò)1000小時(shí)，而檢測(cè)人員資質(zhì)要求高，書(shū)寫(xiě)報(bào)告重復(fù)工作量大，使其成為瓶頸，亟需對(duì)流程進(jìn)行信息化、智能化改進(jìn)。

現(xiàn)狀評(píng)估

當(dāng)前航空復(fù)合材料常用檢測(cè)工作的流程包括實(shí)驗(yàn)接收、實(shí)驗(yàn)測(cè)試、缺陷分析到出具報(bào)告等步驟。其中，缺陷分析和出具報(bào)告兩個(gè)步驟為評(píng)估階段，其他步驟為實(shí)驗(yàn)階段。我們通過(guò)50次的實(shí)驗(yàn)對(duì)流程耗時(shí)進(jìn)行評(píng)測(cè)，試驗(yàn)時(shí)間均值為4.3分鐘，評(píng)估時(shí)間均值為14.4分鐘，人工評(píng)估過(guò)程時(shí)間占比達(dá)到77%，因此急需對(duì)評(píng)估時(shí)間進(jìn)行縮短，提高檢測(cè)效率。

在捕獲到人工檢測(cè)效率比較低的問(wèn)題之后，我們對(duì)工業(yè)質(zhì)檢中的幾種方法也進(jìn)行了比較。人工檢測(cè)存在成本高、效率低、檢測(cè)標(biāo)準(zhǔn)不統(tǒng)一的問(wèn)題。而傳統(tǒng)機(jī)器視覺(jué)技術(shù)的辨別能力比較差，抗干擾能力弱，算法無(wú)法復(fù)用。而深度學(xué)習(xí)技術(shù)的適應(yīng)能力強(qiáng)，算法精度高，模型可復(fù)用，意義可迭代，具有很強(qiáng)的產(chǎn)業(yè)升級(jí)的潛力，因此最終采用深度學(xué)習(xí)技術(shù)來(lái)進(jìn)行流程的改進(jìn)。

關(guān)于圖像分割技術(shù)

說(shuō)到圖像分割，就得從計(jì)算機(jī)視覺(jué)的幾大任務(wù)說(shuō)起，包括圖像分類、目標(biāo)檢測(cè)、圖像分割和實(shí)例分割。圖像分割的行業(yè)應(yīng)用非常廣泛，包括無(wú)人駕駛場(chǎng)景、影視特效場(chǎng)景的人像分割、背景替換、證件照摳圖、醫(yī)療影像分析，腫瘤分割、肺炎結(jié)節(jié)分割等。

在航空領(lǐng)域，圖像分割也具有很多應(yīng)用場(chǎng)景，包括飛機(jī)自主起飛過(guò)程中，對(duì)于跑道中線的識(shí)別、航拍圖像的分析、航空質(zhì)檢過(guò)程中復(fù)合材料超聲圖像缺陷檢測(cè)等。

基于深度學(xué)習(xí)的圖像分割技術(shù)的難點(diǎn)：

現(xiàn)有數(shù)據(jù)量少，新標(biāo)注數(shù)據(jù)難度大，成本高。
應(yīng)用場(chǎng)景復(fù)雜，對(duì)算法泛化能力要求高。
顯存和算力要求高，端側(cè)應(yīng)用挑戰(zhàn)大。
實(shí)時(shí)性要求越來(lái)越高（如短視頻應(yīng)用）。

基于飛槳的航空

復(fù)合材料質(zhì)檢實(shí)踐

傳統(tǒng)的人工質(zhì)檢方式，受質(zhì)檢人員技術(shù)和經(jīng)驗(yàn)影響較大，而智能工業(yè)質(zhì)檢可以有效克服人工評(píng)片引起的誤判，使檢測(cè)工作更加自動(dòng)化、客觀化、標(biāo)準(zhǔn)化、規(guī)范化。工業(yè)質(zhì)檢所涵蓋的行業(yè)非常廣，包括3C電子產(chǎn)品的外觀質(zhì)量檢測(cè)，鋼鐵行業(yè)中鋼板缺陷檢測(cè)，汽車發(fā)動(dòng)機(jī)鑄造件的損傷檢測(cè)，航空制造業(yè)的飛機(jī)外觀蒙皮損傷檢測(cè)，無(wú)人機(jī)+計(jì)算機(jī)視覺(jué)技術(shù)輔助工人對(duì)飛機(jī)表面的劃痕、凹坑等損傷進(jìn)行檢測(cè)、復(fù)合材料超聲圖像缺陷檢測(cè)等。

實(shí)踐航空復(fù)合材料檢測(cè)應(yīng)用AI技術(shù)難點(diǎn)：

數(shù)據(jù)數(shù)量少，應(yīng)用場(chǎng)景復(fù)雜。
檢測(cè)要求高，需要按照適航級(jí)別的標(biāo)準(zhǔn)進(jìn)行檢測(cè)。
傳統(tǒng)行業(yè)AI開(kāi)發(fā)能力薄弱。

針對(duì)以上三個(gè)問(wèn)題，我們找到了解決方案，就是使用百度飛槳PaddleSeg進(jìn)行復(fù)合材料檢測(cè)算法的開(kāi)發(fā)，PaddleSeg可以通過(guò)數(shù)據(jù)增強(qiáng)、算法選擇等技術(shù)很好地解決以上問(wèn)題，有效的幫助傳統(tǒng)行業(yè)的技術(shù)人員進(jìn)行AI算法的開(kāi)發(fā)。

根據(jù)PaddleSeg的全景圖可以看到，PaddleSeg是百度飛槳提供的一款圖像分割開(kāi)發(fā)套件，通過(guò)它可以實(shí)現(xiàn)圖像分割任務(wù)從訓(xùn)練到部署的全流程。該套件是基于飛槳核心框架開(kāi)發(fā)的，具有數(shù)據(jù)增強(qiáng)、損失函數(shù)選擇、分割模型及骨干網(wǎng)絡(luò)的配置等功能，提供工業(yè)級(jí)的部署能力。我們選擇PaddleSeg最重要的原因是其易用性，通過(guò)全局的配置就可以快速實(shí)現(xiàn)模型的選擇、數(shù)據(jù)增強(qiáng)，無(wú)需過(guò)多編寫(xiě)代碼，十分貼近我們開(kāi)發(fā)的需求。

（圖示：飛槳圖像分割套件PaddleSeg全景圖）

分割實(shí)際業(yè)務(wù)場(chǎng)景具有標(biāo)注成本高，標(biāo)注數(shù)據(jù)少，線上應(yīng)用場(chǎng)景繁雜的問(wèn)題。解決方案就是通過(guò)數(shù)據(jù)增強(qiáng)策略擴(kuò)充訓(xùn)練數(shù)據(jù)，提高模型的可靠性。

PaddleSeg支持強(qiáng)大的數(shù)據(jù)增強(qiáng)技術(shù)，可以涵蓋開(kāi)發(fā)算法需求。PaddleSeg還支持多種主流分割網(wǎng)絡(luò)，結(jié)合不同特點(diǎn)的骨干網(wǎng)絡(luò)可以滿足不同精度和性能要求。

其實(shí)最初考慮了三種算法的標(biāo)注方法，第一種是使用矩形標(biāo)注框的目標(biāo)檢測(cè)算法，第二種是旋轉(zhuǎn)矩形框的目標(biāo)檢測(cè)，第三種是多邊形標(biāo)注框的圖像分割。這幾種標(biāo)注的成本差別較大，需要根據(jù)檢測(cè)目標(biāo)特征、數(shù)據(jù)集大小來(lái)確定。我們最終采用了基于PaddleSeg的語(yǔ)義分割再加上后處理的方式，得到了所需的檢測(cè)結(jié)果，并且用PaddleSeg開(kāi)發(fā)起來(lái)速度非?？?。

接下來(lái)我們就按照PaddleSeg語(yǔ)義分割的思路來(lái)進(jìn)行航空復(fù)合材料檢測(cè)的實(shí)踐，針對(duì)航空復(fù)合材料超聲圖像數(shù)據(jù)的特征，我們選擇了左右翻轉(zhuǎn)、上下翻轉(zhuǎn)、變換長(zhǎng)寬比、旋轉(zhuǎn)、顏色空間擾動(dòng)幾種數(shù)據(jù)增強(qiáng)策略對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充。

（圖示：航空復(fù)合材料檢測(cè)實(shí)踐——數(shù)據(jù)增強(qiáng)策略）

PaddleSeg配置示例非常簡(jiǎn)單，十行左右代碼就完成了數(shù)據(jù)增強(qiáng)的配置，對(duì)于算法效果的提升也非常好，大概是IoU兩三個(gè)點(diǎn)的增益。

進(jìn)入到網(wǎng)絡(luò)訓(xùn)練階段，我們使用了COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型，在復(fù)合材料檢測(cè)數(shù)據(jù)集上進(jìn)行微調(diào)，PaddleSeg提供了多種模型結(jié)構(gòu)和豐富的預(yù)訓(xùn)練模型，像U-Net提供了COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型，Deeplabv3提供了Mobilenet、ResNet等骨干網(wǎng)絡(luò)結(jié)構(gòu)在Imagenet和COCO上的預(yù)訓(xùn)練模型。我們測(cè)試了U-Net和Deeplabv3，兩者效果差別不大，但U-Net訓(xùn)練及推理速度更快，最終我們選擇的是U-Net進(jìn)行部署上線。這里我們使用腳本下載了U-Net預(yù)訓(xùn)練模型，對(duì)我們構(gòu)建的復(fù)合材料檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)校驗(yàn)。

在通過(guò)PaddleSeg進(jìn)行模型訓(xùn)練時(shí)，只需要編寫(xiě)全局配置文件，我們?cè)O(shè)置了訓(xùn)練集、驗(yàn)證集、測(cè)試集的路徑，配置了翻轉(zhuǎn)、旋轉(zhuǎn)、顏色擾動(dòng)的數(shù)據(jù)增強(qiáng)策略，設(shè)置了模型結(jié)構(gòu)為U-Net，模型輸入為512 x 512，還對(duì)優(yōu)化器、迭代次數(shù)等等訓(xùn)練參數(shù)進(jìn)行設(shè)置。配置完畢后即可調(diào)用訓(xùn)練腳本對(duì)模型進(jìn)行訓(xùn)練，開(kāi)發(fā)過(guò)程非常簡(jiǎn)單，門(mén)檻很低。

訓(xùn)練完成后，我們對(duì)模型進(jìn)行評(píng)估，在驗(yàn)證集下進(jìn)行測(cè)試，IoU超過(guò)95%。