近日，自動(dòng)化學(xué)院楊曉飛副教授“自主智能無(wú)人系統(tǒng)”團(tuán)隊(duì)在未來(lái)混合交通體系下的無(wú)人艇智能航行和安全避碰研究方向取得新進(jìn)展。團(tuán)隊(duì)研究成果“A Balanced Collision Avoidance Algorithm for USVs in Complex Environment: A Deep Reinforcement Learning Approach”和“Design and Field Test of Collision Avoidance Method With Prediction for USVs: A Deep Deterministic Policy Gradient Approach”先后在人工智能和智能交通領(lǐng)域的國(guó)際頂級(jí)期刊《IEEE Internet of Things Journal》和《IEEE Transactions on Intelligent Transportation Systems》上發(fā)表。兩篇論文的第一作者均為自動(dòng)化學(xué)院2022級(jí)碩士研究生婁猛猛，楊曉飛副教授為論文唯一通訊作者，江蘇科技大學(xué)為第一完成單位。論文的共同作者還包括自動(dòng)化學(xué)院2022級(jí)碩士研究生胡家寶、江蘇科技大學(xué)朱志宇教授、安徽工業(yè)大學(xué)沈浩教授、南京理工大學(xué)向崢嶸教授和美國(guó)南卡羅來(lái)納大學(xué)張斌教授。

隨著智能技術(shù)的發(fā)展，未來(lái)將形成有人和無(wú)人船舶共存的混合交通體系。在該體系中，無(wú)人船舶如何與有人船舶和諧共存，并按照人類(lèi)的航行規(guī)則進(jìn)行安全航行是值得研究和探討的問(wèn)題。因此，實(shí)時(shí)安全避碰對(duì)于復(fù)雜環(huán)境中的水面無(wú)人艇（USV）至關(guān)重要。針對(duì)傳統(tǒng)方法難以保證控制決策安全性和實(shí)用性的平衡問(wèn)題，團(tuán)隊(duì)提出了一種基于互補(bǔ)原理的兩級(jí)激勵(lì)獎(jiǎng)勵(lì)機(jī)制，并構(gòu)建了基于深度強(qiáng)化學(xué)習(xí)的安全避碰算法框架。同時(shí)，為了解決深度確定性策略梯度（DDPG）的稀疏獎(jiǎng)勵(lì)問(wèn)題，團(tuán)隊(duì)參考動(dòng)態(tài)窗口算法（DWA）的軌跡評(píng)價(jià)函數(shù)，構(gòu)建了主要獎(jiǎng)勵(lì)策略，并基于速度障礙（VO）設(shè)計(jì)次級(jí)激勵(lì)獎(jiǎng)勵(lì)，以篩除潛在的碰撞風(fēng)險(xiǎn)。在提高訓(xùn)練效率方面，團(tuán)隊(duì)利用電子海圖（EC）和Unity3D構(gòu)建了一個(gè)沉浸式仿真平臺(tái)，并通過(guò)該平臺(tái)開(kāi)展算法仿真和驗(yàn)證。此外，通過(guò)現(xiàn)場(chǎng)實(shí)驗(yàn)測(cè)試了算法在多種遭遇場(chǎng)景下的有效性。

此外，為了解決當(dāng)前基于深度強(qiáng)化學(xué)習(xí)（DRL）的無(wú)人艇避碰研究大多依賴(lài)固定數(shù)量障礙物假設(shè)、忽視碰撞預(yù)測(cè)重要性的問(wèn)題，團(tuán)隊(duì)提出了一種基于DDPG的新型“預(yù)測(cè)-決策”避碰模型。該模型首先設(shè)計(jì)和構(gòu)造了輻射形狀態(tài)空間，使得DDPG方法能夠用于具有隨機(jī)障礙物的時(shí)變場(chǎng)景，同時(shí)將速度障礙（VO）與狀態(tài)空間相結(jié)合以實(shí)現(xiàn)碰撞預(yù)測(cè)，使用獎(jiǎng)勵(lì)塑形技術(shù)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，以提高安全性和訓(xùn)練效率。虛擬仿真實(shí)驗(yàn)和現(xiàn)場(chǎng)測(cè)試驗(yàn)證了該算法的有效性，顯示出所提方法不僅使無(wú)人艇在未知環(huán)境中能夠安全避碰，而且具有較強(qiáng)的泛化能力。

《IEEE Transactions on Intelligent Transportation Systems》是智能交通領(lǐng)域的國(guó)際頂級(jí)期刊（影響因子7.9），《IEEE Internet of Things Journal》是人工智能與物聯(lián)網(wǎng)領(lǐng)域的國(guó)際頂級(jí)期刊（影響因子8.2），兩者均屬于中科院SCI一區(qū)TOP期刊。

論文鏈接：

https://ieeexplore.ieee.org/document/10715732 

https://ieeexplore.ieee.org/document/10733753 

（撰稿：楊曉飛 初審：羅文 二審：夏志平 終審：張強(qiáng) 編輯：羅文）