2 minute read

Background

최근 연구에서는 보통 long horizon task을 수행하기 위해서 여러 subtask으로 나눈 뒤에 각 subtask을 별도의 local policy에 학습시킨다.

이 방법을 사용하면 각 subtask을 학습하면서 catastrophic forgetting과 같은 문제가 생기지 않지만 subtask 간의 transition이나 의존성을 학습하는 것에는 어려움을 겪는다. 이런 문제점을 해결하기 위해서 motion planning과 action execution module을 따로 분리하는 방법을 적용하는데 이런 방법은 end to end 학습이 어렵고 large scale training이 필요하다.

Long-VLA

본 논문은 long horizon task에 바로 적용이 가능한 end to end VLA 모델을 제시한다.

Data and Phase Decomposition

본 논문은 language annotated trajectory data가 있을 때 M을 moving phase time, I을 interaction phase time이라고 할 때 $\gamma = (s^M_t, s^M_t) t \in [0,d], (s^I_t, s^I_t) t \in [d+1,T]$ 으로 분해한다.

VLA을 end to end으로 학습과 추론을 다 하기 위해서 action representation을 계산할 때 one dimensional phase identifier $s_p$ 을 추가한다. 이 정보를 학습해야 다음 행동을 추론할 때 어떤 phase인지 파악하고 어떤 카메라를 봐야할 지 결정하는 등을 알 수 있다.

$s_p$ 는 moving/interaction 중에 하나의 phase을 나타낸다. 이동할 때는 -1, 상호작용할 때는 1로 표시된다

최종적으로 (x,y,z)를 End-effector의 Cartesian 좌표값, ($eu_x, eu_y, eu_z$)는 Euler angle 기반 orientation, $s_g$는 gripper 상태 (open/closed)이라고 할 때, 하나의 action token은 ($x, y, z, eu_x, eu_y, eu_z, s_g, s_p$) 으로 표현된다.

Input-level Adaptation Strategy via Masking.

우선 input level에서 각 subtask가 이동하는 phase인지 물체와 상호작용하는 phase인지 판단한 뒤에 그 phase에 적합한 camera input masking을 사용한다. 예를 들어서, 3인칭 시점과 1인칭 시점 카메라가 있을 때, 이동하는 phase에서는 1인칭 시점의 카메라는 딱히 필요가 없고 목적지와 현재 상태가 보이는 3인칭 시점의 카메라가 중요하다. 반대로 상호작용하는 phase에서는 3인칭 시점의 카메라는 1인칭 시점 카메라보다 상호작용할 물체에 대한 정보를 덜 제공한다. 즉, Phase 별로 중점적으로 봐야할 camera가 따로 있기 때문에 camera input masking을 사용한다면 각 subtask을 수행할 때 그 subtask에 필요한 정보에만 집중할 수 있으므로 representation shift 문제가 줄어들고 skill chaining 성능 향상이 가능하다. Input masking이 또 중요한 이유는 large dataset에서도 minimal한 input change을 경험할 수 있게 해준다.

이 과정을 dynamic하게 할 수 있게 만들기 위해서 특정 modality을 없애는 것이 아니라 masking 방법론을 사용한다. 각 mask는 binary이며 $m \in { 0,1 }^N$ $m_i = 1$일 때 i번째 token이 attention computation에 참여를 한다는 뜻이다. 각 token에 대한 mask을 붙이면 mask matrix $M \in \l{ 0,1 }^{N \times N}$ 이 된다. 이 matrix을 attention computation에 적용하면

\[A_{ij} = \frac{\exp(P_{ij})\,M_{ij}} {\displaystyle\sum_{k=1}^{N}\exp(P_{ik})\,M_{ik}}, \qquad \text{for } 1 \le i,j \le N.\]

이 방법을 적용하면 모델은 attention 계산할 때 task(phase) relevant token에 집중할 수 있게 되고 input structure와 modalty 일관성에 영향을 주지 않으면서 학습과 추론은 end to end으로 할 수 있게 된다.

Training Loss

Action policy model로는 conditional diffusion model을 사용하며 학습할 때 moving과 interaction phase을 joint하게 supervise하는 하나의 score matching loss을 사용한다. 이미 phase masking strategy로 인해 학습 데이터가 moving일 때는 top view camera을 활용하는 표현을 배울 것이고 interaction phase일 때는 wrist view camera를 활용하는 표현을 배울 것이기 때문이다.

또, language instructions을 통해 visual goal을 잘 하기 위해서 InfoNCE loss을 사용한다.

You May Also Enjoy