A Survey of Embodied AI: From Simulators to Research Tasks 논문 정리 - (1)

본 글은 해당 논문을 해석하여 관련 연구에 도움을 받기 위해 작성한 글로, 오역과 오탈자 등이 존재할 수 있습니다. 또한, 개인적인 해석이 포함되어 있으므로 보다 정확한 이해를 원하시는 경우 본문을 참조해주시기 바랍니다.

 

 

 

A Survey of Embodied AI: From Simulators to Research Tasks는 Embodied AI 분야의 Survey 논문으로, Embodied AI 시뮬레이터들을 비교하고 연구 과제에 대해 설명하는 내용을 담고 있다.

A Survey of Embodied AI: From Simulators to Research Tasks

 

논문을 읽기에 앞서, Embodied AI에 대해 널리 설명하고 있으므로 Embodied AI를 이해한 뒤 논문을 읽는 것이 좋다.

 

Embodied AI란?

Simulator(3D Environment)에 Agent를 생성하여 여러가지 Task를 수행시켜 학습하는 것으로, 현실 세계의 로봇과 같은 기계에 전이(Sim2Real)하여 특정 Task를 잘 수행하도록 하는 분야를 말한다. 한마디로 시뮬레이션에서 인공지능 로봇을 개발하는 것을 말한다.

CVPR에서 Workshop이 진행되는 등, 국제적으로 관심이 높아지고 있는 Embodied AI는 다양한 시뮬레이션 환경과 데이터셋을 제공한다. 이를 이용하면 시뮬레이션만으로 고도화된 인공지능을 개발할 수 있다. 당연히 현실 세계의 로봇에 본 인공지능을 투입할 수도 있다.

 

 

Primary Terms

• Agent: Simulator의 주체가 되는 대상(로봇)
• Curation: 데이터 선별, 엄선
• AI Framework: Embodied AI Simulator 상에서 Agent가 활동하기 위한 공간의 총체
• Task: 연구 과제
• Robotics: 로봇 공학. 로봇을 이용하여 개발하는 모든 것
• Sim2Real: Simulation to Real-World. 시뮬레이션을 현실 세게에 구현하는 전이 학습
• Real-World Counterparts: 실세계의 Object를 Simulation 상에 구현한 것

 

---

 

Abstract

"Internet AI" 시대에서 "Embodied AI" 시대로 패러다임이 전환되었다. AI 알고리즘과 Agent는 더 이상 인터넷에서 큐레이션된 이미지, 비디오, 텍스트 데이터셋으로 학습하지 않는다. 대신 인간과 유사한 자기중심적 자각(인식)을 통해 환경과 상호작용하며 학습한다. 결과적으로, 다양한 연구 과제에 사용(지원)하기 위해 Embodied AI Simulator에 대한 수요가 크게 증가하였다. 이렇게 관심이 증가한 것은 인공지능(AGI)의 발전에 도움이 되지만, 이 분야에 대한 현대적이고 포괄적인 Survey는 없었다. 본 논문은 시뮬레이터에서 연구에 이르기까지의 Embodied AI 분야에 대한 Survey를 제공하는 것을 목표로 한다. 제안된 7가지 기능으로 9개의 시뮬레이터를 평가함으로써, Embodied AI 연구에 사용하기 위한 시뮬레이터를 나열하고 한계까지 소개한다. 또한 본 논문은 최첨단 접근 방식과 평가 지표, 데이터셋을 포함하는 3가지 주요 연구 과제인 Visual Exploration, Visual Navigation, Embodied Question Answering(QA)를 소개한다. 마지막으로, 현장 조사를 통해 드러난 새로운 통찰력으로, Task별 시뮬레이션 선택에 대한 제안과 향후 방향에 대한 권장 사항을 제공할 것이다.

"Internet AI" 시대에서 "Embodied AI" 시대로 패러다임의 변화 발생

• Internet AI: 이미지, 비디오, 텍스트로 학습(전문적으로 감별된 큰 데이터셋으로부터 학습)
• Embodied AI: 실제 시뮬레이션에서 학습(인간처럼 자기중심적 관점으로 환경과 상호작용)

9개의 Embodied AI Simulator는 7개의 1차 특징, 3개의 2차 특징으로 평가된다.

Embodied AI의 3대 과제는 Visual Exploration, Visual Navigation, Embodied Question Answering(QA)이다. 본 논문에서는 3가지 과제에 대한 최신 접근법과 평가 방법, 데이터셋에 대해 다루며 시뮬레이터 선택에 도움을 줄 것이다.

 

---

 

I. Introduction

최근 딥러닝, 강화 학습, 컴퓨터 그래픽 및 Robotics의 발전으로 범용 AI 시스템 개발에 대한 관심이 높아지고 있다. 결과적으로, 인터넷에서 큐레이션된 이미지, 비디오, 텍스트 데이터셋에서 학습하는 "Internet AI"에서 인공 Agent가 주변 환경과의 상호작용을 통해 학습하는 "Embodied AI"로 전환되었다. Embodied AI는 Agent와 환경의 상호작용에서 진정한 지능이 나올 수 있다고 믿는다. 그러나 현재까지의 Embodied AI는 비전, 언어, 추론 등 전통적인 지능 개념을 인공적인 구현에 접목하여 가상 환경에서 AI 문제를 해결하는 데 도움을 주는 것에 그친다.

Embodied AI에 대한 관심이 높아지면서 물리적 세계를 충실히 복제하는 것을 목표로 하는 시뮬레이터가 크게 발전했다. 이러한 시뮬레이션 세계는 AI Framework를 실세계에 배포하기 전 훈련하고 테스트하는 가상 테스트 베드 역할을 한다. 또한, Embodied AI 시뮬레이터는 가상 세계와 동일한 설정을 복제하는 데 필요한 광범위한 수작업을 줄여 실세계에서 지루하게 수집해야 하는 '작업 기반 데이터셋'의 수집을 용이하게 한다. Embodied AI 분야에는 여러 논문이 존재하였지만, 2009년 경 시작된 현대 딥러닝 시대 이전에 발표되었기 때문에 대부분 구식이다. 우리가 아는 한, Embodied Navigation 평가에 관한 Survey는 본 논문 하나 뿐이다.

Embodied AI는 환경과의 상호작용을 통해 지능을 얻는다. (하지만 아직까지 개발된 것으로는 부족함)

Embodied AI에 대한 관심 증가는 Simulator의 발전을 불러왔다. 현실 세계에 적용하기 전 시뮬레이션하는 과정을 통해 비용을 절감할 수 있다.

 

Embodied AI에 대한 Survey 논문 부족을 해결하기 위해, 우리는 시뮬레이터에서 연구 과제에 이르기까지의 Survey를 작성하였다. 본 논문은 지난 4년 동안 개발된 9개의 Simulator(DeepMind Lab, AI2-TOR, CHALET, Virtual Home, VRKitchen, Habitat-Sim, iGibson, SAPIEN, ThreeDWorld)를 다룬다. 이 Simulator들은 강화 학습 Agent를 훈련시키는 데만 사용되는 Game Simulator와 달리 범용 지능 작업을 위해 설계되었다. 컴퓨터상에서 실세계의 사실적인 표현을 제공하며, 주로 환경에 일부 형태의 제약을 갖는 방 또는 아파트 형태를 가진다. 또한, 환경 내에서 제어 또는 조작 가능한 물리 엔진, Python API, 인공 Agent를 최소로 구성한다.

아래 9개의 Simulator는 물리 엔진, Python API, 인공 Agent를 포함한다. 범용 지능 작업을 위해 설계된 Simulator들은 주로 제약이 있는 방 또는 아파트 형태를 구성하는 데에 적합하다.

• DeepMind Lab
• AI2-THOR
• CHALET
• VirtualHome
• VRKitchen
• HabitatSim
• iGibson
• SAPIEN
• ThreeDWorld

 

Embodied AI Simulator는 일련의 잠재적이고 구체화된 AI 연구 과제(Visual Exploration, Visual Navigation, Embodied QA)를 낳았다. 대부분의 기존 논문에서도 이러한 Task에 초점을 맞추거나 모듈을 사용하여 복잡한 작업에 대한 모델을 구축하기 때문에 여기에서도 이 세 가지 Task에 초점을 맞출 것이다. 이것은 복잡성 증가에도 연관되어 있다. Visual Exploration은 Visual Navigation에서 매우 유용한 구성 요소이며 현실적인 상황에 사용된다. Embodied QA는 비전 및 언어 탐색을 기반으로 하는 복잡한 QA 기능을 추가로 포함한다. 언어는 일반적인 양식이고 시각적 QA는 AI에서 인기 있는 작업이기 때문에 Embodied QA는 Embodied AI의 자연스러운 방향이라고 볼 수 있다. 논의된 3가지 Task는 제안된 9개의 Simulator 중 하나 이상에서 구현된 것이다. 본 논문에서는 물리적 세계의 Sim2Real과 Robotics는 다루지 않는다.

 

Simulator들은 CVPR에서 매년 열리는 Embodied AI Workshop에서 구현에 사용된 Simulator를 기반으로 선택되었다.

섹션 I에서는, 본 Survey의 개요 구조를 간략히 설명한다. 섹션 II에서는, 9개의 Simulator를 벤치마킹하여 현실성, 확장성, 대화성 및 Embodied AI 연구에 사용하는 방법을 이해한다. 섹션 III에서는, Embodied AI의 3가지 Task인 Visual Exploration, Visual Navigation, Embodied Question Answering(QA)을 조사하여 최첨단 접근 방식, 평가, 데이터셋을 다룬다. 마지막으로 섹션 IV에서는 Simulator, 데이터셋, 연구 과제에 대한 기존 과제 간의 상호 연결을 확립할 것이다.

본 Survey는 Embodied AI의 신흥 분야를 포괄적으로 살펴보고 해당 분야의 새로운 통찰력과 과제를 제안한다. 또한, AI 연구원들이 관심 있는 Task를 위해 이상적인 Simulator를 선택하는 데 활용할 수 있도록 한다.

Survey에 제시된 9개의 Simulator는 CVPR에서 사용되는 것을 기반으로 선택하였으며, 3가지 Task와 1차/2차 평가 세트를 통해 Embodied AI 연구 분야에 Simulator를 사용할 때 이상적으로(알맞게) 선택할 수 있도록 돕는다.

 

---

 

II. Simulators for Embodied AI

이 섹션에서는 Embodied AI Simulator의 배경을 제시하고, 특징을 비교 및 논의한다.

 

A. Embodied AI Simulators

DeepMind Lab, AI2-THOR, SAPIEN, VirtualHome, VRKitchen, ThreeDWorld, CHALET, iGibson, Habitat-Sim 9개의 Simulator의 배경을 제시한다. 각 Simulator에 대한 자세한 내용은 보충 자료를 참조하자. 이 섹션에서는 7가지 기술적 특징을 기반으로 9개의 Simulator를 종합적으로 비교한다. 7가지 기술적 특징(Environment, Physics, Object Type, Object Property, Controller, Action, Multi-Agent)은 Simulator를 평가하기 위한 주요 특징이다. 이것은 환경, 상호 작용, 물리적 세계의 상태를 정확하게 복제하는 데 필요한 필수 측면을 다루므로 Simulator를 평가하여 지능을 테스트하는 데 적합한 테스트 베드를 제공한다.

 

1) Environment

Embodied AI Simulator 환경을 구성하는 방법은 크게 Game-based와 World-based로 구분된다.

그림 1을 참조하면, Game-based 장면 구성 방법은 3D 자산으로 구성되며, World-based 장면 구성 방법은 객체와 환경의 실제 스캔으로 구성된다.

완전 3D 자산으로 구성된 3D 환경은 실제 스캐닝으로 만들어진 환경의 3D Mesh와 비교할 때 잘 세분화된 내장 물리 기능과 객체 클래스를 가진다. 3D 자산에 대한 명확한 객체 분할을 통해 PartNet에서 제공하는 3D 모델과 같이 이동 가능한 Joint를 가진 관절형 객체로 쉽게 모델링할 수 있다. 대조적으로, 환경과 객체의 실제 스캔은 실세계에 대한 더 높은 충실도와 더 정확한 표현을 제공하여 Simulation에서 실세계로 Agent 성능을 더 잘 전달할 수 있다. (Habitat-Sim, iGibson을 제외한 대부분의 Simulator가 Game-based 방법으로 구성됨)

 

2) Physics

Simulator는 실제 환경뿐만 아니라 실제 물리 특성을 모델링하는 Agent와 객체, 객체와 객체 간의 현실적인 상호작용도 구성해야 한다. 여기서 물리적 특징은 Basic(일반) physics와 Advanced(고급) physics로 구분된다.

그림 2을 참조하면, Basic feature로는 collision(충돌), rigid-body dynamics(강체 역학), gravity(중력) 모델링 등이 있으며 Advanced feature로는 cloth(천), fluid(유체), soft-body(연체 물리학) 등이 있다.

대부분의 Embodied AI Simulator는 물리 엔진이 내장된 Game-based로 구성되어 있기 때문에 Basic physics feature를 갖추고 있다. 반면, 복잡한 물리학 환경이 인공 Agent의 결정을 어떻게 형성하는지 이해하는지가 목표인 ThreeDworld와 같은 Simulator의 경우, Advanced physics feature를 갖추고 있다.

대화형 탐색 기반 작업에 초첨을 맞춘 Simulator의 경우, 일반적으로 Basic physics feature로 충분하다.

 

3) Object Type

Simulator를 만드는 데 사용되는 객체에는 두 가지 주요 소스가 있다.

첫 번째 Type(유형)은 Matterport3D, Gibson과 같은 기존 객체 데이터셋으로부터 파생된 Dataset-driven(데이터셋 기반) 환경이다. 두 번째 Type(유형)은 Unity 3D 게임 자산 스토어와 같은 Net에서 Object를 가져오는 Asset-driven(자산 기반) 환경이다.

두 소스의 차이점은 객체 데이터셋의 지속 가능성이다. Dataset-driven 객체는 누구나 온라인으로 3D 객체 모델에 기여할 수 있는 Asset-driven 객체보다 수집 비용이 더 많다. 하지만, Dataset-driven 객체보다 Asset-driven 객체에서 3D 객체 모델의 품질을 보장하는 것이 더 어렵다.

검토에 따르면, Game-based 방식의 Simulator는 자산 저장소에서 객체 데이터셋을 얻기 쉬운 반면, World-based 방식의 Simulator는 기존 3D 객체 데이터셋에서 자원을 얻는다.

 

4) Object Property

일부 Simulator는 충돌과 같은 기본 상호작용을 가진 객체만 사용할 수 있다. 고급 Simulator는 다중 상태 변경과 같이 더 세밀한 상호작용을 가진 객체를 사용할 수 있다. 예를 들어, 사과를 얇게 썰었을 때 사과 조각으로 상태를 바뀌게 한다.

따라서, 우리는 이러한 서로 다른 수준의 객체 상호작용을 Interact-able(상호작용 가능)과 Multiple-state(다중 상태) 객체를 가진 Simulator로 분류한다.

표 I를 참조하면 AI2-THOR, VRKitchen과 같은 일부 Simulator는 Multiple-state를 가능하게 하여 실세계에서 동작할 때 물체가 어떻게 반응하고 상태를 변화시키는지 이해하는 플랫폼을 제공한다.

 

5) Controller

그림 4를 참조하면, 사용자와 Simulator 간의 Controller 인터페이스는 Direct Python API(직접 파이썬 API 컨트롤러), Virtual Robot(가상 로봇 컨트롤러), Virtual Reality(가상 현실 컨트롤러)에 이르기까지 다양한 유형이 존재한다.

Robotics는 Universal Robot 5(UR5)나 TurtleBot V2와 같은 기존 실제 로봇의 가상 상호작용을 허용하며, ROS 인터페이스를 사용하여 직접 제어할 수 있다.

Virtual Reality Controoler 인터페이스는 보다 몰입적인 HCI(인간과 컴퓨터의 상호작용)를 제공하고, Real-World Counterparts를 사용하여 배치를 용이하게 한다. 예를 들어, 주로 Visual Navigation을 위해 설계된 iGibson과 AI2-THOR와 같은 시뮬레이터는 각각 Castro와 RoboTHOR와 같이 Counterparts를 만들기 쉽도록 Viretual Robot Controller를 가진다.

* iGibson, AI2-THOR은 자회사의 로봇에 대한 Virtual Robot Controller를 탑재한 시뮬레이터임

 

6) Action

Embodied AI Simulator에서 인공 Agent 행동 능력의 복잡성에는 주요 탐색 능력(primary navigation)만 수행할 수 있는 것부터 가상 현실 인터페이스를 통해 더 높은 수준의 인간-컴퓨터 동작을 수행하는 것까지 차이가 있다.

본 논문에서는 이들을 Navigation, Atomic Action, Human-Computer Interaction으로 분류한다.

Navigaton은 가장 낮은 계층이며 모든 Embodied AI Simulator에서 공통적으로 가지는 기능이다. 가상 환경을 탐색하는 Agent의 기능에 의해 정의된다.

Atomic Action은 인공 Agent의 관심 대상에 대한 기본적인 이산 조작을 수행하는 수단을 제공하며 대부분의 Simulator에 탑재되어 있다.

Human-Computer Interaction은 Virtual Reality Controller의 결과로, 가상 Agent를 제어하여 가상 Agent를 실시간으로 학습하고 가상 세계와 상호작용할 수 있도록 한다.

AI2-THOR, iGibson, HabitatSim과 같은 대규모 탐색 기반 Simulator의 대부분은 Navigation, Atomic Action, ROS를 사용하는 경향이 있으며 이를 통해 포인트 탐색 또는 객체 탐색과 같은 작업을 수행하는 동안 환경 내 물체를 더 잘 제어하고 조작할 수 있다.

반면, ThreeDWorld, VRKitchen과 같은 Simulator는 매우 현실적인 물리 기반 시뮬레이션과 Muliple-state 변화를 제공하도록 구성되었기 때문에 HCI 범주에 속한다. 가상 객체와 상호작용할 때에는 인간 수준의 민첩성이 필요하기 때문에 HCI에서만 가능하다.

 

7) Multi-Agent

표 I를 참조하면, 다중 Agent 강화 학습을 포함하는 연구가 부족하기 때문에 일부 시뮬레이터(AI2-THOR, iGibson, ThreeDworld)에서만 다중 Agent 설정을 갖추고 있다.

일반적으로 Simulator는 인공 Agent의 적대적이거나 협업하는 훈련에 사용되는 다중 Agent를 구성하는 실질적 가치를 갖기 전에 객체 콘텐츠가 풍부해야 한다. 이러한 다중 Agent 지원 Simulator의 부족으로 인해 Embodied AI Simulator에서 다중 Agent 기능을 활용하는 연구 Task가 줄어들었다.

다중 Agent 설정에는 두 가지가 있다. 첫 번째는 인공 Agent와 Simulation 아바타 간의 상호 작용을 허용하는 ThreeDWorld의 Avatar-based 방식이다. 두 번째는 AI2-THOR의 User-based 방식으로, 2개의 Agent가 각각(이중) 학습 네트워크 역할을 맡고 Simulation에서 다른 인공 Agent와 상호 작용하여 공통 Task를 달성하는 것이다.

[ Simulator를 평가하는 7가지 1차 평가 지표 ]

1) Environment

• Game-based: 3D 자산으로 구성. 물리적 특징과 객체 분할이 잘 구현되어 움직임이 있는 모델링에 적합
• World-based: 현실 세계의 스캔. 현실 세계 반영도가 높으며 Sim2Real에 유용. 많은 자원이 필요함

2) Physics

• Basic features: 충돌, 강체 역학, 중력 모델링. 대부분 이 특징으로 구성(Basic으로 충분하기 때문)
• Advanced features: 천, 유체, 연체 물리학. 복잡한 물리 환경이 필요한 경우 사용

3) Object Type

• Dataset-driven: 객체 수집이 어렵고 비용이 높지만 Quality가 보장됨 (기존 3D 객체 데이터셋)
• Asset-driven: 누구나 접근 가능하여 수집이 쉽지만 Quality가 보장되지 않음 (Asset Store 이용)

4) Object Property

• Interact-able: 충돌과 같은 물체 간의 상호작용만 가능
• Multiple-state: 물체가 어떻게 반응하고 상태를 변화시키는지까지 가능

5) Controller

• Direct Python API
• Virtual Robot: ROS 인터페이스처럼 실세계의 로봇(터틀봇 등)과 상호작용이 가능하게 한다.
• Virtual Reality: 더 몰입적인 HCI를 제공하여 실세계 물건들을 배치할 수 있다.

6) Action

• Navigation: 가장 하위 레벨. Embodied AI Simulator의 특징으로, 가상 공간을 탐색하는 능력
• Atomic Action: 인공 Agent가 객체에 대한 간단한 행동들을 수행. 많은 Simulator에서 지원
• Human-Computer Interaction: 사람이 가상 Agent가 학습하고 상호작용하는 것을 실시간으로 제어

7) Multi-Agent

• Avatar-based: 인공 Agent와 Simulation 아바타가 상호작용. (ex. ThreeDWorld)
• User-based: 2개의 학습 네트워크 역할이 주어진 서로 다른 인공 Agent가 상호작용 (ex. AI2-THOR)

 

B. Comparison of Embodied AI Simulators

Embodied AI에 대한 Allen 인공지능 연구소의 연구와 7가지 특징을 바탕으로 Simulator를 위한 2차 평가 세트를 제안한다. 2차 평가 세트는 표 I에 표시된 것처럼 Realism(사실성), Scalability(확장성), Interactivity(상호작용성) 3가지 주요 기능으로 구성된다.

3D 환경의 Realism은 시뮬레이터의 Environment와 Physics에 기인한다. 환경은 실세계의 물리적 외관을 모델링하는 반면, 물리학은 실세계 내의 복잡한 물리적 특성을 모델링한다.

3D 환경의 Scalability는 Object Type에 기인한다. Dataset-based 객체에 대한 실세계의 3D 스캔을 더 수집하거나 Asset-based 객체에 대한 3D 자산을 더 구입하여 확장 가능하다.

Interactivity는 Object Property, Controller, Action, Multi-Agent에 기인한다.

표 I와 그림 6의 7가지 주요 특징인 Embodied AI Simulator의 2차 평가 세트를 기반으로 3가지 2차 특징을 모두 보유한 Simulator(AI2-THOR, iGibson, Habitat-Sim)가 더 좋은 평가를 받고 있으며 Embodied AI Task에 널리 사용된다.

 

Embodied AI Simulator에 대해 포괄적이고 정량적인 비교를 수행하여 각 Simulator의 Environment Configuration(환경 구성)과 Technical Performance(기술 성능)을 비교한다. 환경 구성 기능은 Simulator의 제작자가 제안한 응용 프로그램에 따라 크게 달라지며, 기술 성능은 제작에 사용되는 Simulation 엔진에 크게 영향을 받는다.

AI2-THOR은 다른 Simulator에 비해 환경 구성이 가장 크며, Habitat-Sim과 iGibson은 그래픽 렌더링 성능에서 상위 2위를 차지했다. 표 II에 제시된 정량적 성능의 벤치마크는 이 3가지 Simulator의 우수성과 복잡성을 추가로 보여준다.

 

Embodied AI Simulator에 대한 이러한 비교는 본 Survey가 연구 Task에 이상적인 Simulator를 선택하는 데 도움을 주기 위해 확립한 7가지 1차 평가 지표와 3가지 2차 평가 지표의 중요성을 더욱 강화하였다.

[ Simulator를 평가하는 3가지 2차 평가 지표 ]

1) Realism(사실성)

• Environment: 현실 세계의 물리적 외관을 모델링
• Physics: 현실 세계의 복잡한 물리적 성질을 모델링

2) Scalability(확장성)

• Object Type: 실세계 3D 스캔 데이터셋을 더 수집하거나 3D Asset을 구입하여 확장

3) Interactivity(상호작용성)

• Object Property, Controller, Action, Multi-Agent

→ 본 3가지 특징을 모두 가진 Simultor는 Embodied AI Task 수행에 유용하게 사용할 수 있다.