人類和機器人共存？開源人機虛擬社區生活模擬來了

人工智能與機器人技術的飛速發展，正悄然改變我們對“社會”這一概念的理解。未來，人類與機器人將不再只是工具與使用者的關係，而是生活在同一個社區中，共同學習、協作、甚至競爭。這一變革既充滿機遇，也伴隨着前所未有的挑戰。爲了探索這種人機共存的未來圖景，馬薩諸塞大學提出了一個前沿平臺—Virtual Community（虛擬社區）。

Virtual Community 是一個開放世界模擬平臺，專爲具身人工智能（Embodied AI）而設計，支持在真實地理場景構建的大規模3D社區中，模擬人類、機器人及其社會互動。平臺內置多種類型的機器人（如四足機器人、人形機器人、無人機等），以及具備語言與動作能力的虛擬化身，支持複雜社交行爲的仿真。同時，設計了兩個關鍵任務—競選任務與社區助理任務，分別用於評估智能體的社交影響力與協作規劃能力。（鏈接在文章底部）

01 技術原理

虛擬社區生成流程框架：該流程從真實世界的地理空間數據出發，生成場景及相應的智能體。

場景生成模塊（A）通過生成式模型對粗糙的三維數據進行優化，增強紋理效果，並利用地理空間數據簡化幾何結構。同時，它還藉助生成方法創建可交互的物體和細緻的室內場景。

智能體生成模塊（B）依託大語言模型（LLMs），根據場景描述自動生成智能體角色及其社會關係網絡。

最終，在（C）模塊中，基於 Genesis 引擎對這些虛擬化身社區與機器人在開放世界中的行爲進行仿真模擬。

Virtual Community 基於 Genesis 物理引擎，採用統一框架在生成的開放世界中模擬類人化身和多樣化機器人，支持不同類型智能體之間豐富的物理與社交互動。平臺還爲機器人和化身智能體提供統一接口，但各自擁有獨特的觀測空間與動作空間。

基於場景綁定的角色檔案和社交關係網絡，通過基礎模型生成每個智能體的日常活動計劃。每個計劃條目均包含開始時間、結束時間、活動描述及對應地點。還顯式考慮不同地點間的通勤時間，以真實反映在廣闊三維環境中的移動成本。模擬過程中，智能體按照生成的日程執行日常活動。

對於行走動作，系統循環播放動作片段直至化身完成設定距離；對於涉及物體的動作，根據動作將物體運動學地附着或移除於化身手部；同理，在涉及車輛的動作中，化身也會被附着或移除於車輛。還引入物理約束機制：化身與場景實體之間進行碰撞檢測，一旦檢測到潛在碰撞，動作立即終止。

採用結合生成與檢索的自動化流程，基於真實地理空間數據，構建大規模且真實細緻的室外開放世界場景和多樣化的室內多房間環境。室外場景通過在線清理和優化幾何與紋理，去除噪聲並提升細節，確保適用於具身人工智能仿真；室內場景則通過從數據庫檢索和生成模型相結合的方式，針對不同建築類型生成對應的室內佈局，實現高質量的社區環境構建。

歡迎交流～，帶你學習AI，瞭解AI