메시 위에서 배우는 시뮬레이션 — MeshGraphNets의 속도, 오차, 그리고 절제 실험

MeshGraphNets는 유한요소 해석이 쓰는 메시를 그대로 그래프로 바꿔서, 다음 시간 스텝의 상태를 예측하도록 학습시킨 모델이다. 목적은 해석기의 대체가 아니라 같은 해석의 반복을 싸게 만드는 것이다 — 논문의 표현으로 "학습에 쓴 시뮬레이션보다 1~2자릿수 빠르게" 돌아간다.

구조 쪽에서 눈여겨볼 점은 실험 도메인 여섯 개 중 하나가 초탄성 판을 운동학적 액추에이터로 변형시키는 준정적 구조역학 문제이고, 이 모델이 변위뿐 아니라 절점별 von Mises 응력을 함께 예측한다는 것이다.

이 글은 Pfaff, Fortunato, Sanchez-Gonzalez, Battaglia, "Learning Mesh-Based Simulation with Graph Networks" (ICLR 2021)의 본문과 표를 인용한다. 함수 공간 사이의 사상을 배우는 신경연산자와 달리, 여기서는 메시의 국소 상호작용을 배운다.

1. 간선을 두 종류로 깐다

핵심 설계는 계산을 두 공간에서 따로 한다는 것이다.

우리 방법은 시뮬레이션 상태를 그래프로 인코딩하고, 두 개의 분리된 공간에서 계산을 수행한다 — 시뮬레이션 메시가 이루는 메시 공간과, 그 다양체가 잠겨 있는 유클리드 월드 공간이다. — Pfaff et al., §1

우리 방법은 시뮬레이션 상태를 그래프로 인코딩하고, 두 개의 분리된 공간에서 계산을 수행한다 — 시뮬레이션 메시가 이루는 메시 공간과, 그 다양체가 잠겨 있는 유클리드 월드 공간이다. — Pfaff et al., §1

두 공간이 맡는 물리가 다르다.

메시 공간의 메시지 전달은 "대부분의 물리계의 내부 동역학을 떠받치는 미분 연산자를 근사"한다. 유한요소법이 형상함수로 하는 일을 학습된 국소 연산으로 대신한다.

월드 공간의 메시지 전달은 "메시 공간 상호작용으로는 잡히지 않는 접촉과 충돌 같은 외부 동역학"을 추정한다. 메시에서는 멀지만 공간적으로 가까운 두 절점이 여기서 연결된다.

구조는 인코더–프로세서–디코더다. 인코더가 메시를 그래프로 바꾸며 월드 간선을 추가하고, 프로세서가 여러 번의 메시지 전달로 절점·간선 임베딩을 갱신하며, 디코더가 절점별 예측량을 낸다. 예측은 상태 자체가 아니라 변화율이고, 적분해서 다음 상태를 만든다.

구조역학 도메인의 처리 방식이 이 설계를 잘 보여 준다 — "액추에이터와 판이 모두 라그랑주 사면체 메시의 일부이고, 절점 유형에 대한 원-핫 벡터로 구분된다". 경계조건을 방정식이 아니라 절점의 표식으로 준다.

2. 학습 설정

논문은 하이퍼파라미터 대부분에 둔감하다고 밝히면서, 두 가지만 성능을 좌우한다고 지목한다.

항목값

메시지 전달 블록 수늘릴수록 좋아지지만 비용이 커진다 — "모든 계에서 15가 효율/정확도의 좋은 절충"

이력 길이"가장 짧은 이력에서 최선" — 천 실험은 h = 1, 나머지는 h = 0. 이력을 더 주면 과적합된다

MLPReLU, 2개 은닉층, 폭·출력 128, 출력에 LayerNorm (마지막 디코더 제외)

최적화Adam, 학습률 10⁻⁴ → 10⁻⁶(5M 스텝 지수 감쇠), 총 10M 스텝, v100 GPU 한 장

지도다음 한 스텝만 지도하고, 수백 스텝 롤아웃에 견디도록 훈련 잡음을 넣는다

이력이 짧을수록 좋다는 결과는 입자 기반 선행연구(GNS)가 2~5스텝의 이력을 쓴 것과 반대다. 논문은 그 차이를 메시가 이미 상태를 담고 있기 때문으로 읽는다.

3. 여섯 도메인, 그리고 표 하나

표 1이 이 논문의 결론을 한 장에 담는다. 왼쪽은 GPU 한 장에서의 스텝당 시간, 오른쪽은 오차다. t_model은 순수 신경망 추론, t_full은 리메싱과 그래프 재구성을 포함한 값, t_GT는 원래 시뮬레이터다.

도메인평균 절점 수t_modelt_fullt_GT1스텝 RMSE전체 롤아웃 RMSE

FlagSimple (천)1,57919 ms19 ms4,166 ms1.08139.0

FlagDynamic (천, 적응 메시)2,76743 ms837 ms26,199 ms1.57151.1

SphereDynamic (천–구 접촉)1,37332 ms140 ms1,610 ms0.29228.3

DeformingPlate (구조역학)1,27124 ms33 ms2,893 ms0.2515.1

CylinderFlow (비압축성)1,88521 ms23 ms820 ms2.3440.88

Airfoil (압축성)5,23337 ms38 ms11,015 ms31411,529

(RMSE는 모두 ×10⁻³ 단위이고, 표에는 표준편차가 함께 실려 있다.)

표에서 읽히는 것은 세 가지다.

구조역학 도메인의 이득이 가장 깔끔하다 — 2,893 ms 대 33 ms로 약 88배, 그리고 전체 롤아웃 RMSE가 15.1 × 10⁻³로 여섯 도메인 중 가장 작다. 준정적 문제여서 시간 방향 오차 누적이 적기 때문이다.

리메싱이 필요한 도메인에서는 리메싱이 병목이다 — FlagDynamic에서 신경망 추론은 43 ms인데 전체는 837 ms다. 계산의 95%가 학습된 부분 바깥에 있다.

Airfoil의 오차는 자릿수가 다르다 — 1스텝 314, 전체 롤아웃 11,529다. 같은 방법이 도메인에 따라 전혀 다른 정확도를 낸다.

4. 무엇을 빼면 무너지는가

논문의 절제(ablation) 실험이 설계의 어느 부분이 실제로 일하는지 보여 준다.

뺀 것결과

월드 공간 간선롤아웃 RMSE가 FlagDynamic에서 51%, SphereDynamic에서 92% 증가. 구와 천은 메시가 연결되어 있지 않으므로 "월드 간선이 없으면 상호작용을 아예 계산할 수 없다"

상대 인코딩 (절대 좌표 사용)롤아웃에 시각적 결함이 생기고 RMSE가 26.5로 악화

메시 간선 (입자식 고정 반경 연결)천의 정지 상태 개념이 없어 오차가 급격히 누적되고 불안정해진다. 불규칙 간격 메시에서는 안정적인 롤아웃 자체가 불가능했다

간선 위의 메시지 (GCN 계열)Airfoil에서 안정적인 롤아웃을 얻지 못했다. 블록을 15개로 늘리고 MLP를 넣은 혼합 모델도 품질이 낮았다

고정 반경 연결이 실패하는 이유가 특히 실무적이다 — "고정된 연결 반경은 고해상도 영역을 과표집하고 저해상도 영역을 과소표집"한다. 유한요소 해석에서 요소 크기를 지역마다 다르게 주는 바로 그 관행이, 학습 모델에서는 연결 구조를 메시에서 가져와야 하는 이유가 된다.

5. 훈련 범위 밖으로

일반화 실험의 숫자는 온건하지만 방향이 분명하다.

Airfoil — 훈련은 받음각 −25°~25°, 마하수 0.2~0.7이었는데, 시험은 −35°~35°와 0.7~0.9로 넓혔다. RMSE는 훈련 시 11.5에서 12.4(각도)와 13.1(유입속도)로 "약간만" 올랐다.

메시 형상 — 단순 사각형 천으로만 학습한 모델을 물고기 모양 깃발 세 개에 적용했고, 학습된 동역학과 학습된 리메셔가 모두 새 형상으로 넘어갔다.

규모 — 같은 모델을 술 달린 바람자루에 적용했다. 훈련 중 평평하지 않은 초기 상태를 본 적이 없고, 메시는 평균 2만 절점으로 훈련 대비 한 자릿수 크다.

논문이 여기서 끌어내는 결론이 이 방법의 진짜 주장이다 — "비싼 고해상도 시뮬레이션 데이터로 훈련할 필요가 없을 수 있다. 작은 예제로 학습해 추론 시점에 규모를 키움으로써, 전통적 시뮬레이터로는 너무 느릴 큰 계를 시뮬레이션하는 법을 배울 수 있다."

6. 정리

메시 공간 간선은 내부 동역학(미분 연산자)을, 월드 공간 간선은 접촉·충돌을 담당한다. 둘을 같은 절점 위에 겹쳐 깐다.

메시지 전달 블록 15개, 폭 128의 2-은닉층 MLP, Adam 10M 스텝, v100 한 장이 논문의 표준 설정이다.

이력은 짧을수록 좋다 — 천은 h = 1, 나머지는 h = 0이며, 더 주면 과적합된다.

구조역학 도메인에서 스텝당 33 ms 대 2,893 ms로 약 88배, 전체 롤아웃 RMSE는 15.1 × 10⁻³로 여섯 도메인 중 가장 작았다.

적응 메시 도메인에서는 리메싱이 비용을 지배한다 — 추론 43 ms, 전체 837 ms.

월드 간선을 빼면 롤아웃 RMSE가 51%·92% 증가하고, 상대 인코딩을 빼면 26.5로 악화된다.

입자식 고정 반경 연결은 불규칙 메시에서 안정적인 롤아웃을 만들지 못한다 — 고해상도는 과표집, 저해상도는 과소표집되기 때문이다.

훈련 범위 밖(받음각 ±35°, 마하 0.9)에서도 RMSE가 11.5에서 12.4~13.1로만 올랐고, 사각 천으로 학습한 모델이 2만 절점 바람자루로 넘어갔다.

모델은 변위와 함께 절점별 von Mises 응력을 예측한다 — 학습 대상이 형상만이 아니다.

구조 실무의 관점에서 이 논문의 값어치는 표 1의 t_GT 열에 있다. 한 번의 해석이 수 초 걸리는 문제라면 학습 모델의 33 ms는 의미가 없지만, 같은 해석을 수천 번 돌리는 문제 — 형상 최적화, 매개변수 스윕, 실시간 예측 — 에서는 그 차이가 전부다. 다만 훈련 데이터는 여전히 도메인마다 다른 기존 시뮬레이터가 만들었고, 적응 메시가 필요한 문제에서는 리메싱이라는 학습되지 않은 부분이 시간의 대부분을 차지한다. 이 방법이 줄이는 것은 해석의 필요가 아니라 해석의 반복 비용이다.