TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation 리뷰

Background

VLA는 vision과 language space에서의 정보만 받기 때문에 visual occlusion이 존재하는 task나 fine grained manipulation task을 잘 하지 못한다.

따라서 tactile 정보를 VLA에 도입하는 연구들이 생겼다. 하지만 이 정보를 항상 injection 하게 된다면 tactile 정보가 필요없는 행동에서도 사용되어 불필요한 cross modal interaction이 발생할 수 있다. 또, VLA의 input으로 단순하게 tactile image을 넣게 된다면 VLA가 처리해야 하는 context 양이 많아져서 효과적이지 못할 수 있다.

따라서 본 논문은 tactile image을 그대로 사용하지 않고 low dimension token으로 변환하면서 contact aware gating 방법을 사용하여 tactile 정보가 필요할 때만 사용되도록 하였다.

TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

Overall Architecture

TacVLA는 우선 front와 wrist camera을 SigLIP으로 encoding하고 ($\rightarrow z^{\text{vis}}_t$) PaliGemma tokenizer로 language instruction과 robot proprioceptive state을 encoding한다 ($\rightarrow z^{\text{lan + pro}}_t$)

Tactile 정보로는 tactile array 값을 사용한다. (gelsight 같은 sensor가 아님) MLP encoder로 tactile array를 36개의 tactile token으로 압축하고 spatial 정보를 보존하기 위해서 positional embedding까지 더한다. ($\rightarrow \tilde z^{\text{tac}}_t$) 이 tactile 정보를 통해서 본 논문은 local contact patterns, global pressure distribution, 그리고 contact geometry 정보까지 얻을 수 있다고 주장한다.

이를 통해서 time t에서의 multimodal token sequence는 $\tilde z_t$ = [ $z^{\text{vis}}_t, \quad z^{\text{lan + pro}}_t, \quad \tilde z^{\text{tac}}_t $ ] 으로 표현될 수 있다. 이 통째로 VLM backbone에 들어가서 non-causal attention을 통해서 모든 modality을 통합한 context representation을 얻는다.

이 representation이 action expert에게 들어가 multimodal 기반의 action sequence을 얻는 것이다.

\[a_{\text{t:t+H}} \sim \pi_{\theta} (a_{\text{t:t+H}} \mid \tilde z_t)\]

Contact Aware Gating Tactile Fusion

이 context representation을 표현할 때 tactile 정보가 필요없는 action을 생성할 때도 tactile 정보가 사용된다면 불필요한 attention까지 하게 된다. 따라서 contact aware gating module을 구현한다.

Physical contact가 발생했는지의 여부에 따라 gate을 활성화시킨다. Physical contact 발생 여부 판단은 tactile array에서 압력이 threshold보다 큰 cell 개수로 판단을 한다.

$c_t \in $ {0,1} 은 time t에서의 contact flag인데 contact가 발생했을 때만 $c_t = 1$ 이 된다. 이 flag을 통해서 attention mask $M^{\text{tac}}_t$ 을 구성한다.

\[M^{\text{tac}}_t = c_t \cdot 1\] \[\tilde z^{\text{tac}}_t = c_t \cdot z^{\text{tac}}_t\]

$c_t$ = 0 일 떄는 tactile tokens을 attention에 포함하지 않는 구조인 것이다.

학습을 할 때는 LoRA를 사용해서 generalization 지식을 최대한 잃지 않도록 한다.

Results

Tactile gating의 효과에 대한 실험이 인상적이었다.

Gating을 활성화하지 않아서 contact 정보가 항상 사용되었을 때는 성공률이 오히려 tactile 정보를 아예 사용 안 하는 것보다 성능이 악화된다는 결과이다. Tactile gating을 하지 않았을 경우에는 visual 정보를 사용하는 것을 방해하고 필요가 없는 순간에도 re-grasp을 시도한다든지의 행동을 보인다고 한다.