[쿠키과학] '물리법칙 이해한 AI'… 흔들리는 옷주름까지 묘사

KAIST, ‘MPMAvatar’ 개발
가우시안 스플래팅, MPM 기법 결합
옷 주름, 충돌모습까지 사실적 재현
AGI 전환점, 실감형 콘텐츠 산업 혁신 기대

기사승인 2025-10-22 16:37:45

아름답고 부드러운 춤사위와 옷 주름까지 생생하게 표현한 모습. KAIST

물리법칙을 이해한 인공지능(AI)이 동작에 따라 옷의 흔들림과 주름까지 실제처럼 표현하는 시대가 열렸다.

KAIST 전산학부 김태균 교수팀이 3차원 공간에서 움직임과 상호작용을 실제 물리법칙처럼 학습하는 생성형 AI ‘MPMAvatar’를 개발했다.

이 기술은 기존 2D 기반 영상 AI의 한계를 뛰어넘어 영화, 메타버스, 게임 등의 아바타 현실감을 높이고 모션캡처나 3D그래픽 수작업을 크게 줄일 전망이다.

연구팀은 기존 2D 기술의 문제를 해결하기 위해 가우시안 스플래팅으로 다중 시점 영상을 3차원 공간으로 재구성하고, 여기에 물리 시뮬레이션 기법(MPM)을 결합한 새로운 방식을 제안했다.

다시점 비디오 입력으로부터 새로운 사람 자세와 그에 따른 옷의 동역학을 모델링하거나, zero-shot 기반 새로운 물리 상호작용을 생성할수 있다. KAIST

이 방식은 여러 시점에서 촬영한 영상을 입체적으로 재구성하고, 그 안에서 물체가 실제처럼 움직이며 상호작용하도록 물리 법칙을 AI가 스스로 학습한다.

이를 통해 물체의 재질·형태·외력에 따른 움직임을 계산하고, 그 결과를 실제 영상과 비교해 AI가 물리 법칙을 스스로 학습할 수 있도록 했다.

연구팀은 3차원 공간을 점 단위로 표현하고, 각 점에 가우시안과 MPM을 함께 적용해 물리적으로 자연스러운 움직임과 사실적인 영상 렌더링을 동시에 구현했다.

(위)MPM 물리 모델을 적용하여 다양한 물리 특성을 지닌 객체의 상호작용을 모델링할수 있다. (아래)제안하는 이방성 MPM을 이용하여 옷과 같이 얇고 변형의 폭이 큰 객체의 동역학 모델링이 가능하다. KAIST

이는 3D 공간을 수많은 작은 점들로 쪼개 각 점이 실제 물체처럼 움직이고 변형되도록 만들어 현실과 거의 구분이 안 될 만큼 자연스러운 영상을 구현한 것이 특징이다.

특히 옷처럼 얇고 복잡한 물체의 상호작용을 정밀하게 표현하기 위해 물체의 표면과 입자단위 구조를 함께 계산, 3차원 공간에서 물체의 움직임과 변형을 물리법칙에 따라 계산하는 ‘MPM’ 기법을 활용했다.

또 옷이나 물체가 움직이며 서로 부딪히는 장면을 사실적으로 재현하기 위해 새로운 충돌처리 기술을 개발했다.

이 기술을 적용한 MPMAvatar는 느슨한 옷을 입은 사람의 움직임과 상호작용을 사실적으로 재현하고, AI가 학습과정에서 본 적 없는 데이터도 스스로 추론해 처리하는 ‘제로샷’을 생성했다.

느슨한 옷을 입은 사람의 역학을 모델링하고, 새로운 상호작용을 생성. 물리적 동역학을 충실히 따르면서도 초실감적인 렌더링이 가능한 새로운 방법을 GS과 MPM을 결합하여 제안한 모습. KAIST

아울러 강체, 변형가능한 물체, 유체 등 다양한 물리적 특성을 표현할 수 있어 아바타뿐 아니라 일반적인 복잡한 장면 생성에 활용할 수 있다. 연구팀은 이 기술을 확장해 사용자의 텍스트 입력만으로도 물리적으로 일관된 3D 동영상을 생성할 수 있는 모델 개발을 진행 중이다.

김 교수는 “이번 기술은 AI가 단순히 그림을 그리는 것을 넘어 눈앞의 세계가 왜 그렇게 보이는지 이해하도록 만든 것으로, 물리 법칙을 이해하고 예측하는 Physical AI의 가능성을 보여준 연구”라며 “이는 AGI(범용 인공지능)로 가는 중요한 전환점”이라고 설명했다.

이어 “가상 프로덕션, 영화, 숏폼, 광고 등 실감형 콘텐츠 산업 전반에 실질적으로 적용돼 큰 변화를 만들어낼 것”이라고 덧붙였다.

한편, 이번 연구는 KAIST 김재철AI대학원 이창민 석사과정이 제1저자로, 전산학부 이지현 박사과정이 공저자로 참여했고, 연구결과는 국제학술대회 ‘NeurIPS’에서 오는 12월 발표하고 프로그램 코드도 공개할 예정이다.
(논문명: C. Lee, J. Lee, T-K. Kim, MPMAvatar: Learning 3D Gaussian Avatars with Accurate and Robust Physics-Based Dynamics,Proc. of Thirty-NinthAnnual Conf. on Neural Information Processing Systems (NeurIPS), San Diego, US, 2025 arXiv버전: https://arxiv.org/abs/2510.01619)