7月25日-26日,在中國科學技術協會、中國科學院、中國工程院、浙江省人民政府、杭州市人民政府、浙江省人工智能發展專傢委員會指導下,由中國人工智能學會、杭州市餘杭區人民政府主辦,浙江杭州未來科技城管理委員會承辦的2020全球人工智能技術大會在“數字之都”——杭州,成功舉辦。在7月26日舉辦的CAAI人工智能大講堂暨雲課堂上,CAAI 監事、中國工程院院士、湖南大學教授、CAAI Fellow 王耀南為我們帶來瞭題為“智能制造機器人的感知與控制技術及其應用進展”的精彩演講。

王耀南

CAAI 監事、中國工程院院士、湖南大學教授、CAAI Fellow

以下是王耀南的演講實錄:

今天給大傢帶來的報告是《智能制造機器人的感知與控制技術及其應用進展》,內容主要分為三個部分,第一個部分介紹為什麼要發展智能制造?智能制造的重要意義,以及它的需求在哪裡?第二部分是智能制造在實施過程中有哪些關鍵技術?重點講解機器人的關鍵技術,以及國內外的應用現狀。尤其想介紹一下近年來,我們團隊機器視覺感知與控制技術國傢工程實驗室在智能制造機器人生產線方面所做的一些工作。最後介紹智能制造是一個復雜系統,它還有很多技術需要研究,未來機器人在智能制造中有哪些發展方向?

一、發展智能制造的重大意義

今天人類已經進入到瞭工業4.0 的階段。第一次工業革命人類發明瞭蒸汽機,開啟瞭我們的機械化;隨之開啟瞭我們的制造,推動瞭工業革命。18 世紀的制造基本處於一種機械制造階段,有瞭各種機械化的裝備。第二次工業革命開啟是在上個世紀20 年代初,人類發明瞭電,開啟瞭電氣化時代,人們通過電機帶動生產制造。這個時期我們的制造業已經進入到一個大規模的生產階段——批量化。隨著上個世紀中葉計算機發明後,在數字化驅動下,延續到今天我們的工業已經進入到瞭自動化的生產,其設備有機器、數控和機器人,即進入瞭一個數字化、智能化和機器人化的時代,在生產制造中大量采用機器人開展制造工作。未來人類還將進入到更加智能化的制造過程,也就是我要談的智能制造的問題。

為什麼要發展智能制造?智能制造世界各國近幾年發展非常迅速,在新一輪全球工業革命的催生下,互聯網絡與工業深度融合。我們看到世界各國都在提出自己的智能制造,尤其是著名的三大制造強國。美國提出他的互聯網絡制造強國,未來用互聯網打造其制造業,通過對大數據進行智能分析和管理,提升傳統制造。德國是一個全球制造業大國,為瞭提振其強大的制造業,2013 年提出瞭工業4.0,主要體現在怎麼用嵌入式系統和信息技術切入到裝備制造中,提升制造水平。中國也提出來瞭中國制造2025,但目前我國是制造大國,還不是制造強國。為瞭使制造大國向制造強國轉型,我們要加快制造業轉型,提出瞭用新一代的新型技術,以制造業進行深度的融合為主線,推進智能制造這一主攻方向,發展智能制造。

實際上,智能制造和人工智能息息相關。首先分析一下國內現狀,為什麼要發展我國的智能制造。從智能制造來看,制造業是國民經濟的主體,是立國之本、強國之基,占我國GDP 的29.3%。我國雖然已成為世界第一制造大國,但仍存在生產效率偏低、產品質量不高、核心的高端制造裝備進口率高等問題,因此迫切需要研究智能制造與機器人技術,加速我國制造業由中低端向高端轉型升級,這就是國內的重大需求。

制造業要轉型升級,都是向高端制造看齊,因為世界各國都把高端制造作為競爭的高點。今天中美貿易戰打的主要就是在高技術、高端裝備領域。進入到高端制造中,各個國傢都在競爭,比如航空航天、海洋工程、軌道交通、新能源裝備等高端裝備,它也是我國和世界各國競爭的焦點,是戰略性新興行業,是國民經濟、國防建設的主戰場。所以在高端制造裝備中,如何加工構建精密、結構復雜的核心零部件,它的質量直接決定瞭裝備的性能。這就是我們說的發展智能制造需求的第二點。

第三點,機器人是制造業的關鍵技術,在整個高端制造中,無論是航天、軌道交通、海洋工程方面都有廣泛應用,在發展智能制造機器人起著最關鍵的作用。機器人在智能制造中要替代人完成復雜的作業任務,將面臨著重大挑戰。這裡面的挑戰性問題非常多,歸結為三個,第一個大挑戰,機器人要面臨替代人在高溫惡劣環境下工作,它的作業環境非常惡劣;第二個大挑戰,加工高端制造過程中,它的部件結構非常復雜大型、工業結構復雜;第三個挑戰,加工的零部件要求一定是高速、高精度、高可靠的。在這樣三大挑戰的催生下,世界制造強國都在開展研究適應自己的智能制造的機器人技術。

今天介紹的主題是智能制造機器人關鍵技術的突破。目前制造業對現有的機器人提出瞭巨大挑戰,首先現在的機器人實際還是一個自動化裝置,它的感知適應能力還比較差;第二缺乏在線的規劃、決策、優化;第三多個機器人它的協同能力比較差,無法滿足高端制造的需求。

如何攻克智能制造所需要在高端中的機器人的柔性生產線這些關鍵技術,首先要使機器人能夠適應高端制造,要突破實時的精準感知技術;第二要突破機器人在線規劃和自主的決策;第三要攻克多機器人的高效協同作業。今天發展以機器人為核心的智能制造系統已經大勢所趨,從這次新冠肺炎疫情中就看出,我們一條生產線怎樣在很短的時間內重新組裝、重新組合變成一條柔性生產線,滿足人們的需求。這就是在以機器為核心的智能制造過程中需求已經發生瞭變化,不是在工業3.0 和2.0 大批量的生產,而是在一種小批量、品種多、定制化這樣的需求下;未來的智能工廠的特征一定是數字化、網絡化、智能化。

在這樣的大背景下,我們設計的以機器人為核心的智能制造系統有哪幾個部分組成?第一部分一定是要設置一個完整的智能化設計平臺,也就是我們制造業在工業互聯網的互聯互通支撐下,產品設計一定是智能制造過程,一定要智能;同時,我們的服務過程一定要智能。在這種情況下,從產品的智能設計到產品的制造和服務,整個過程都一定是在互聯互通的情況下完成的。

智能制造的兩個核心,一個是怎樣利用高端的機器人改進它,變成能夠在不同環境下進行作業的機器人;第二個我們怎樣搬運和組裝這麼多零部件。這是給大傢介紹的第一部分。

二、智能制造機器人關鍵技術

今天要發展智能制造有很多關鍵技術,除瞭在供應鏈制造過程它采用瞭很多人工智能技術,在制造過程中,在生產線方面,比如在汽車制造、新能源裝備制造、航空、軌道交通、海洋工程方面,這些高端裝備中,它的零部件在加工過程中,一定要設置柔性的機器人自動化生產線。機器人帶來很多優點,它可以建成一個完整的柔性化生產線,比如上下料、焊接、打磨、拋光、噴塗、裝配檢測、搬運物流等。

怎樣協同控制好這些機器人有條不紊地實現生產過程,這是今天我們需要的人工智能技術,也就是我們的智能化決策和控制技術,怎樣能感知到生產線的過程,怎樣通過感知我們能夠進行決策、規劃所要加工的部件,怎樣進行控制,這個過程需要設置一個雲平臺、互聯互通的雲端。雲端主要是智能制造大腦,我們叫做制造大腦,可以指揮整個生產線的過程,它有很多復雜的算法在上面實施,這就是整個完整的一個面向裝備和高端制造的智能制造體系。

在智能制造中有三個核心技術,第一個就是高速、高精度的機器視覺技術感知。

怎樣有條不紊地完成柔性的生產制造。感知技術我們從生產線上怎麼產生的,在這個復雜的生產線中,它應對的問題比較多,面對的挑戰有光照的條件多變、結構尺寸的復雜、測量目標的微弱,它怎樣能感知、測量到我們所要加工的零部件。

面臨的三大挑戰,就是我們的感知技術存在很多要破解的難點。第一個難點成像噪聲大;第二個目標特征比較微弱;第三個感知精度比較低。為瞭解決這些技術上的問題,應對挑戰,近年來國內外,包括我們的團隊都做瞭大量工作。比如,我們在感知中提出瞭高分辨率實施的視覺成像與信息處理、高速微弱目標完整的感知,以及精準的識別、多尺度量多特征實施的三維測量。這些過程解決的策略最終是要達到高端裝備制造過程中,對於大型復雜構件和零部件的識別定位檢測等作業,在實施智能制造中需要有很多AI 技術,尤其體現在視覺成象、視覺感知、視覺處理、視覺三維測量方面。

下面舉幾個例子。

第一個例子。在復雜的生產過程中,我們提出的機器人的主動視覺成像技術,可以解決各種復雜制造環境下不同類型運動目標的精準識別。

第二個例子,我們在測量中,比如測量一個三維的汽車產線,通過高分辨率的視覺實時成像和處理能夠進行視覺的信息處理。這裡采用瞭硬件實現,為瞭加快速度能夠進行目標三維的重建目標,達到機器人能夠實時精準地對整個加工和生產的零部件,做到三維的視覺感知。

第三個例子,在感知到的情況下,怎樣對一些復雜的加工零部件進行定位。比如,航空發動機、汽車發動機等構件,在復雜加工的過程中,怎樣進行識別其精準位置。我們可以采用AI 技術,如前面談到的聚類初步分割、深度的學習特征,以及精準的目標識別,最後能夠達到控制加工過程中,機器人精準定位到所要裝配的零部件,以解決復雜工件在加工中的定位難題。又如,通過視覺我們在突破瞭技術的情況下,怎樣進行測量零部件。這裡可采用我們提出的多尺度特征提取,實施三維的測量方法,最終達到三維的機器人測量。在零部件加工制造測量完的情況下,怎樣進行質量的判斷。同樣采用AI 技術完成高分辨率視覺,通過視覺深度學習判定加工質量是否符合要求。

上面介紹瞭第一個技術,下面介紹第二個關鍵技術——機器人怎樣高效的規劃和精準的控制。

有瞭感知以後,我們怎樣規劃好。在生產線過程中,加工零部件的制造過程中,它面臨的最大問題就是零部件復雜、結構化、空間小,怎樣在狹小的空間指揮機器人精準地進行加工,需要很好的規劃。目前研究規劃要解決的第一個問題是實施位置估計;第二個問題是精準的規劃角色;第三個問題是精準的軌跡跟蹤。近年來,國內外研究現狀都做瞭大量工作,絕大部分主要體現在怎樣自適應的魯棒視覺控制、多約束軌跡的規劃,第三個變結構的控制應用的比較廣。我舉幾個例子,第一個,自適應的魯棒視覺跟蹤控制,重點是解決重載抓起和定位的問題。第二個,多約束,軌跡規劃算法,怎樣規劃好一個復雜的進行加工的路徑和機器加工的軌跡,精準地控制它,實時操作。這裡提出瞭基於視覺感知,以特征提取方法,解決復雜工件精準配準的問題和裝配的問題。第三個,比如在打磨拋光,它的力位混合怎麼控制好,這需要我們提到的變結構,精準的控制方法。第四個,比如通過AI 深度學習,可以輔助我們精準的控制,使機器通過第一次加工比較粗,第二次加工精確精密一點,第三次、第四次通過無限的迭代學習,最終使機器人像人一樣學會操作。第五個就是視覺裝配,這裡也體現瞭視覺的作用。

第三個關鍵技術專業性比較強,就是多機器人的高效協同加工。

下面通過一些例子給大傢進行介紹。

我們在一條非常復雜的柔性生產線過程中怎樣協同?這些機器有條不紊由多個機器人來操作,這裡就需要AI 技術——智能規劃和調度。因為在生產線中它會面臨多個機器人,面臨多任務、多工序、多機器的強耦合,我們怎樣解決這些問題和挑戰?克服攻克這些技術難點就需要一個很好的決策系統對多個機器進行協同。第二個任務的分配。第三怎樣自主的決策。解決的思路很多,但是目前在國內外應用比較好的主要是多機械協同優化的調度算法、工序優化調度的決策,以及高效優化的決策。這些手段最終目的就是要在高速生產線中,機器人能夠完成定制化、小批量、多品種的生產。

怎樣實施這些技術?我舉一個例子,比如構建加工怎麼用多個機器人去完成。一個復雜的大型航空構建,加工需要多個機器人,機器人面臨著很多問題,任務多、工序多、環境復雜、信息分散等,多種指標協調起來非常困難。如何完成這些多機的協作?主要解決的思路是,第一解決多機器人的優化調度,怎麼進行任務的分解,任務分配給機器人規劃好路徑,然後進行多個機械的協同控制。多機械在高效大型部件加工中的思路,具體實施過程中有很多復雜的技術,在多機的高效過程中,首先要進行怎樣的優化調度和任務分配。第二,對多個機器人怎樣進行防碰撞地解決它們的路徑規劃,使其精準地到達規定地方,並按照預定軌跡進行加工。第三,在這樣復雜的背景下,怎樣協同這些機器人有條不紊地完成重要任務。這裡主要體現在多傳感器新興的融合任務的分配和路徑規劃、協同的控制。除瞭單機和多機加工在智能制造中應用最多的制造生產線,高端的數控裝備和各種加工的設備怎樣進行調度、協同它,這也是一個多機、多工序、多任務分配的問題,是一個多目標優化的問題。如果我們把多機器發揮得好,它可以實現多工序、多個機器的高效作用。

我們主要設置好三大軟件,設置好一個多工序的優化調度;第二個多任務進行分配;第三多機器怎樣控制好。下一個柔性生產線都是采用模塊化、組裝化的,一旦產品發生變化,通過模塊化重新組裝,然後改變軟件重新變成一條完整的生產線,仍然可以適應生產另外一種產品,從而能夠真正解決智能制造所提出來的多工序、多任務、多機器的生產適應性這一大難題。完成定制化的過程。

前面講到的在有感知規劃、精準的進化完成瞭三大關鍵技術,接下來就是要突破工程的應用。

機器人生產線的工程應用是一個復雜系統,需要開發一個完整的智慧生產線大腦,也就是控制系統。機器人控制系統由幾個部分組成,第一個部分在生產線過程中怎樣去完成多機器的協同。比如,多個機器人怎樣協同進行焊接,多個機器人怎樣進行協同拋光,多個機器人怎麼協同的打磨及裝配;比如大型的機翼,航空客機它的機翼的裝配用多個機器人怎麼完成?這些需要針對性設計好軟件和硬件,在AI 技術裡最核心的我們要感知到每個機器人工作的狀態,采用分佈式的傳感。有瞭感知系統,怎樣有效地進行每個機器人的動作規劃;規劃好後要找出最佳的軌跡加工路徑;有瞭軌跡加工路徑,我們交給控制系統,指揮控制系統控制這些機身,有條不紊地實施多機器人的協同。所以最核心的就是要給它一個智慧的、智能制造的大腦,整個大腦涵蓋分佈式的傳感協同的規劃與決策、分佈式的控制線三大部分。

有瞭這套完整的加工制造控制系統就可以應用到不同領域,比如應用到汽車加工自動化生產線、應用到發動機裝配生產線、應用到大型盾構機的生產制造和刀盤加工,可以采用多個機器人的協作。盾構機的刀盤加工是一個大型構件,可以采用多機協同加工和組裝;比如電子制造、精密的電子制造組裝,也可以采用人機協同共用機器人來組裝電子零部件生產線,體現到人機共榮。

在精密裝配中采用視覺控制。比如,在工程應用中,用機器人和數控配合加工高端的航空發動機葉片,因為葉片80% 都是航空發動機的關鍵部件,占有80% 的工作量;在航空發動機的裝配中,首先為瞭裝配進去就需要用三維的視覺測量;在大型艦船螺旋槳的加固過程中,可以采用多個機器協同完成。過去這些工作采用人工時間比較多,現在用機器人來完成,其加工周期短、效率高,且質量達到瞭更高的要求。再比如,現在在高端大型裝備制造和加工過程中,以及高速列車的車主裝配、轉向的加工中,仍然可以采用多個機器人的協同來裝配。

今天已經進入到瞭機器人時代,比如我們的大型構件、核電和大型發電廠,其復雜的部件加工都可以采用機器人三維激光切割、三維激光焊接、三維激光測量完成。這些都是機器人在整個高端裝備制造中發揮的重要作用,體現它兩個核心——機器人的感知、機器人的規劃路徑和決策控制,使機器人像人一樣完成復雜的智能制造零部件的加工制造。

還有近年來我們開發的高端無菌化機器人制藥生產線這一柔性生產。過去在制藥過程中都采用人工配藥,今天多個機器人可以協同進行灌裝、分解、包裝整個藥品,真正做到瞭機器人靈巧精準的作業;多機器人協作完成任務,實現無菌化、無人化,以及數字化的制藥生產,真正達到在整個制藥過程中都能夠安全、高效追溯。今年新冠肺炎的發生,機器人在制藥過程中發揮瞭重大的作用。它的產線生產過程和效率都滿足瞭人們的需求,源源不斷生產人們需要的不同醫藥產品。

剛才我主要介紹瞭智能制造機器人的三個關鍵技術,第一個關鍵技術是智能制造裡機器人的感知技術;第二個是智能制造機器人精準規劃、路徑軌跡規劃和精準的控制;第三個重點介紹瞭多機器人的協同作用;同時介紹瞭機器人在智能制造中發揮的作用——高端裝備的作用。此外我們還有很多工作要做,因為未來機器人高端中還要面臨很多問題,它的發展方向和需要做的工作有哪些,這就是我今天介紹的第三部分。

三、未來機器人在智能制造中有哪些發展方向

機器人,不管是工業機器人、服務機器人,還是特種機器人也好,未來都是向著智能化發展。智能機器人是人工智能的重要應用,也是人工智能應用的皇冠上的明珠。目前常用的大部分機器人還處在一個自動化的狀態,也就是大部分工業機器人除瞭機器人本體,機器人電機、機器人的感知這方面還有待加強。這就是工業1.0 的機器人,大部分普通的低端的機器人大量應用在生產線,是自動化的裝置。

現在我們逐步過渡到機器人的2.0 數字化,就是剛才我介紹的機器人,在工業機器人的基礎上能夠收集現場的加工數據、感知到環境的適應性、輔助人的輔助決策思維。未來機器人要向3.0看齊,能夠有學習能力、交互能力,以及有多模態的分析判斷和人際交互、人機協作的能力。

未來機器人的方向發展更多的是朝向我們今天所提的自主化的服務、持續的學習、協同的學習和場景知識。在控制器方面能夠體現它知識的圖譜,加入知識圖譜提升機器人的智慧;在控制方面要體現在雲邊端,無縫協同計算;在數據方面要提倡更加安全。工業機器人、服務機器人都是向著智能化發展。機器人在智能制造中的發展,未來一定的是人機合作的方向。智能制造機器人是向著智能化、柔性化、靈巧化、協作化、現代化發展,主要目的是要適應網絡化的協同制造、大規模的定制化制造。這就需要人機協作中,使機器人能夠自主的感知、自主的處理、自主的決策和執行。也就是,機器人要像一個自主的人一樣能夠獨立處理問題,這就需要我們在技術上有深度突破,比如具有信息深度的感知、智慧的決策、精準的控制這些功能,這是第一發方向的趨勢,目前全世界都向這個方向發展。

第二個在工廠方面,今天機器人是關在籠子裡的,要把它圈起來,防止危害人類;我們認為明天的機器人一定是人機共有、人機互動,它的發展方向是一個輕量化、靈活化的人機共用,這樣在整個工廠就像一個辦公室,能夠人機協作工作。

第三個方向發展是工業4.0,智能生產線提出的要求。如我們要使機器人能夠看懂說明書,提醒通過一雙明亮的眼睛能夠看懂說明書,能夠組裝這臺手機;通過利用機器人的大腦識別系統能夠閱讀尺寸、安裝位置,使機械能夠從信息物理系統中獲得產品說明書,對照進行裝配。這就是人們向往的未來機器人發展的第三個方向。

第四個方向就是5G 網絡的多機器人協作。一臺機器人要達到這樣的功能,它在技術手段上有哪些。我們今天已經進入5G 時代,要充分利用5G 技術,在雲端、在邊緣端、在終端進行有深度的融合,構建我們的智能機器人系統;也就是在硬件平臺上,機器人本體邊緣端、雲端方面要構建機器人的操作系統,要構建出一個網絡化的操作系統。所以我們的開發工具要跟上。

我們在移動平臺和感知能力方面,要建立大量的人際交互能力,也就是自適應的機器人人機交互;要建立起完整的知識庫和三維的語義,以及場景的理解和個性化的知識圖譜。現有的1.0機器人真正能變到我們的3.0。智能化的3.0 機器才能應對不同的應用場景,如智能的提醒、尋找物流日常行為的檢測等不同的應用場景。

第五個發展方向,人們更多的是將雲計算、互聯網知識庫有機結合,再形成一個互聯互通,雲端下的人機交互協作來開展智慧的智能制造,把很多復雜的工作交到雲端,實施性很強的控制指令命令交到邊緣端。要建立起產品智能設計的知識庫,提交給自動化的產品設計需要達到真正的自主學習、自主解決問題能力的機器人系統。

第六個發展方向是如何高效的多機器協同。在車間、在社會層面我們都要充分利用雲層邊緣層設備現場上的自動化生產系統來解決,真正實施多個機器人協同作業、邊緣有效的計算和實時的控制。在工廠這個層面上,我們有復雜的生產線,通過工業互聯網絡連接起來,把工業加工機器人作業移動到機器人生產線;立體倉庫有機結合起來,收集數據進行計算,提供軟件決策分析的有效供給,最終會應用生產不同的大型裝備,提供有效的智能制造。

總之,未來機器人的發展方向主要體現在人機交互和人機合作方面。人際交互需要突破的核心技術有三維的完全感知、導航對人的靈巧操作、直觀的人機交互、行為的安全等關鍵技術。最終要解決主要的三個科學問題,第一個要揭示機器人與非結構化環境下不確定性作業任務的適應性能力,為現代的機器人創造、創新和設計提供理論依據;第二個要解決的科學問題是揭示機器人能夠理解人的行為和抽象指令的機制,為智能機器人的構建設計,以及人機溝通和安全機制提供有效的理論依據;第三個要探索和揭示人機交互,以智力協同的控制原理,為機器人的人機協作提供有效的技術支撐。

(本報告由湖南大學張輝教授整理)