2024年12月27日，國家地方共建具身智能機器人創(chuàng)新中心與北京大學計算機學院聯(lián)合創(chuàng)建的具身智能數(shù)據(jù)集對外發(fā)布。有了這個數(shù)據(jù)集，像天工這樣的具身智能機器人就可在不斷的訓練中變得更聰明。
伴隨著全球人工智能技術飛速進步，具身智能產(chǎn)業(yè)迅猛發(fā)展，賦予機器人類人化的泛化能力是具身智能機器人技術的核心目標之一，實現(xiàn)這一目標的關鍵在于如何使各類機器人本體在面對多樣化的環(huán)境和任務時，能夠展現(xiàn)出卓越的性能。
正如人工智能大模型需要海量文本數(shù)據(jù)來訓練一樣，想要培養(yǎng)出一個能力全面的機器人，也需要大量優(yōu)質(zhì)的訓練數(shù)據(jù)，數(shù)據(jù)集是具身智能技術發(fā)展的重要基石。
“與視覺或語言數(shù)據(jù)的獲取相比，收集機器人訓練數(shù)據(jù)更困難，需要在專門的環(huán)境中記錄機器人的每個關節(jié)動作和末端執(zhí)行器的信息，這個過程不僅需要昂貴的硬件設備，還需投入大量人力來確保數(shù)據(jù)質(zhì)量?！?國地共建具身智能機器人創(chuàng)新中心相關負責人解釋，因而業(yè)內(nèi)目前最具通用性的機器人操作策略主要依賴于在有限多樣性條件下收集的數(shù)據(jù)。更加豐富多樣的大規(guī)模多構(gòu)型具身智能數(shù)據(jù)集和Benchmark（基準測試，用來評估和比較不同具身智能操作模型性能的一系列標準化測試和評估標準）是極為稀缺的資源。
為了解決這個難題，國家地方共建具身智能機器人創(chuàng)新中心與北京大學計算機學院聯(lián)合推出了一個大規(guī)模多構(gòu)型智能機器人數(shù)據(jù)集和Benchmark——RoboMIND，捕捉機器人面對復雜環(huán)境、長程任務時的各種交互和經(jīng)驗，從而促進能夠掌握不同操作策略的通用模型的訓練。
RoboMIND是行業(yè)首個集中化標準采集的大規(guī)模、多構(gòu)型具身智能數(shù)據(jù)集。據(jù)介紹，RoboMIND包含5.5萬條機器人軌跡數(shù)據(jù)，涉及279項不同的任務，涵蓋了高達61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務場景。
這就能讓機器人掌握更充分和全面的“習題冊”。比如，RoboMIND數(shù)據(jù)集的61種不同物品類別，可以讓機器人見識更多的“題型”。在廚房場景中，數(shù)據(jù)集不僅包含了草莓、雞蛋、香蕉和梨子等常見的食物，也包括了烤箱和面包機等復雜的可調(diào)節(jié)物體；在家庭場景中，數(shù)據(jù)集既包括了網(wǎng)球等剛性物體，也包括了玩具等可變形物體；辦公和工業(yè)場景則包含了電池和齒輪等需要精確控制的小物體。
“多樣化的物體種類不僅增加了數(shù)據(jù)集的復雜性，也有助于訓練能夠在各種環(huán)境下執(zhí)行操作?！毕嚓P負責人解釋。此外，該數(shù)據(jù)集包含根據(jù)真實場景搭建的數(shù)字孿生場景，進一步豐富和擴充了此數(shù)據(jù)集的多樣性，同時提升數(shù)據(jù)采集效率。機器人構(gòu)型也包含單臂機器人、雙臂機器人、人形機器人，以及手臂末端使用夾爪或者靈巧手。
上述負責人說，為了評估數(shù)據(jù)集的質(zhì)量，研究團隊在主流單任務模仿學習模型上和具身多模態(tài)大模型上進行了廣泛的評測，發(fā)現(xiàn)RoboMIND數(shù)據(jù)集可以有效提升模仿學習模型在現(xiàn)實場景下任務的成功率，提升機器人操作模型在現(xiàn)實場景的任務執(zhí)行能力。
隨著數(shù)據(jù)集建設的不斷積累，該創(chuàng)新中心將持續(xù)迭代RoboMIND，涵蓋更多本體、任務、場景和評測方法，提供高質(zhì)量、標準化、廣泛多樣的數(shù)據(jù)基礎。
