CARD 2 · PROBLEM
2 / 5
어떤 문제를 풀고 있나
기존 테스트 타임 트레이닝(TTT) 방법들은 각 변형을 별도로 하드코딩하여 새로운 방법 설계가 어렵고 개별 구성 요소의 역할을 파악하기 어렵다.
CARD 3 · METHOD
3 / 5
어떻게 풀었나
방향성 비순환 그래프로 내부 학습자를 표현하고, 빠른 가중치 네트워크, 손실 함수, 학습률, 가중치 감소, 정규화를 명시적 설계 차원으로 노출하는 프레임워크(Modular TTT)를 제안한다. 이를 통해 기본 단위의 규칙들을 자동으로 구성하여 전체 그래프 수준의 TTT 계산을 도출한다.
CARD 4 · RESULTS
4 / 5
결과와 의의
체계적 절제 연구를 통해 작은 학습률 초기화, 가중치 감소, 단일 층 비선형성이 성능을 개선함을 발견했으며, 410M 및 1.45B 파라미터 모델을 100B 토큰으로 훈련했을 때 Gated DeltaNet과 비교 가능한 성능을 달성했다.
!
모듈화된 접근 방식으로 TTT의 설계 공간을 체계적으로 탐색할 수 있게 하여 향후 더 효율적인 온라인 학습 기반 시퀀스 모델링 방법 개발을 촉진한다.
— 의의