文章概要:

- Google DeepMind與33家其他研究機構(gòu)合作，開展了一個新項目，旨在創(chuàng)建通用型AI系統(tǒng)，可與不同類型的物理機器人一起工作，并執(zhí)行多種任務(wù)。

- 他們提出的Open-X Embodiment項目結(jié)合了多個機器人類型的數(shù)據(jù)集和能夠跨多種任務(wù)傳遞技能的模型，取得了比傳統(tǒng)方法更好的訓(xùn)練效果。

- 研究人員基于Transformer深度學(xué)習(xí)架構(gòu)開發(fā)了RT-1-X和RT-2-X模型，這些模型在各種任務(wù)中表現(xiàn)出色，對機器人領(lǐng)域的研究具有重要意義。

近日，Google DeepMind與33家其他研究機構(gòu)合作推出了一個令人矚目的新項目，旨在解決機器人領(lǐng)域的一個重大挑戰(zhàn):為每個機器人、任務(wù)和環(huán)境訓(xùn)練機器學(xué)習(xí)模型所需的巨大工作量。這個項目的目標是創(chuàng)建一個通用型AI系統(tǒng)，能夠與不同類型的物理機器人協(xié)同工作，并執(zhí)行多種任務(wù)。

Google Robotics的高級軟件工程師Pannag Sanketi表示:“我們觀察到，機器人通常擅長專業(yè)領(lǐng)域，但在通用性方面表現(xiàn)較差。通常情況下，您必須為每個任務(wù)、機器人和環(huán)境訓(xùn)練一個模型，更改一個變量通常需要從頭開始。”

為了克服這一挑戰(zhàn)，他們推出了Open-X Embodiment項目，引入了兩個關(guān)鍵組成部分:一個包含多個機器人類型數(shù)據(jù)的數(shù)據(jù)集，以及能夠在廣泛任務(wù)范圍內(nèi)傳遞技能的模型系列。研究人員將這些模型在機器人實驗室和不同類型的機器人上進行了測試，在訓(xùn)練機器人方面取得了卓越的結(jié)果，相比于傳統(tǒng)方法，表現(xiàn)出更高的成功率。

這個項目的靈感部分來自于大型語言模型（LLMs），它們在大規(guī)模通用數(shù)據(jù)集上訓(xùn)練時，能夠匹敵甚至勝過在狹窄任務(wù)特定數(shù)據(jù)集上訓(xùn)練的小型模型。令人驚訝的是，研究人員發(fā)現(xiàn)這一原則同樣適用于機器人領(lǐng)域。

為了創(chuàng)建Open X-Embodiment數(shù)據(jù)集，研究團隊收集了來自20個不同國家的22種機器人實體的數(shù)據(jù)，數(shù)據(jù)集包括超過500種技能示例和150，000個任務(wù)示例，總計超過100萬個事件（事件是機器人每次嘗試完成任務(wù)時執(zhí)行的動作序列）。

與此數(shù)據(jù)集相配套的模型基于Transformer深度學(xué)習(xí)架構(gòu)構(gòu)建。RT-1-X是基于Robotic Transformer1（RT-1）構(gòu)建的，它是一個用于實際機器人領(lǐng)域的多任務(wù)模型。RT-2-X則是基于RT-1的繼任者RT-2構(gòu)建的，它是一個視覺-語言-行動(VLA)模型，學(xué)習(xí)了來自機器人和Web數(shù)據(jù)的知識，可以響應(yīng)自然語言指令。

研究人員在五個不同的研究實驗室中使用五種常用的機器人對RT-1-X進行了各種任務(wù)的測試，結(jié)果表明，與為每個機器人專門開發(fā)的模型相比，RT-1-X在任務(wù)中表現(xiàn)出了50%更高的成功率，如拾取和移動物體以及打開門等。該模型還能夠?qū)⑵浼寄芡茝V到不同的環(huán)境，而專門的模型適用于特定的視覺環(huán)境。這表明，在多種任務(wù)中，基于多樣示例訓(xùn)練的模型表現(xiàn)出色。根據(jù)論文，該模型可以應(yīng)用于各種機器人，從機械臂到四足動物。

RT-2-X在新任務(wù)和緊急技能方面比RT-2成功率高出三倍，尤其在需要空間理解的任務(wù)方面表現(xiàn)更好，例如區(qū)分在布料附近移動蘋果和將其放在布料上的任務(wù)。

研究人員計劃進一步研究如何將這些進展與DeepMind開發(fā)的自我改進模型RoboCat的見解相結(jié)合，RoboCat可以在不同的機械臂上執(zhí)行各種任務(wù)，并自動生成新的訓(xùn)練數(shù)據(jù)來提高其性能。

他們已經(jīng)開源了Open X-Embodiment數(shù)據(jù)集和RT-1-X模型的小版本，但沒有開源RT-2-X模型。他們相信這些工具將改變機器人的訓(xùn)練方式，加速研究進展，促進機器人相互學(xué)習(xí)，以及研究人員之間的知識交流。機器人領(lǐng)域的未來在于使機器人能夠相互學(xué)習(xí)，讓研究人員互相學(xué)習(xí)。

（舉報）