CARD 2 · PROBLEM
2 / 5
어떤 문제를 풀고 있나
대규모 언어 모델은 추론 시점에 원본 문서를 검색하지 않을 때 특정 문서 모음에 대한 질문에 답하지 못한다. 이 연구는 고정된 말뭉치를 검색 없는 질의응답을 위한 매개변수 지식으로 변환하는 문서 지식 내재화 문제를 다룬다.
CARD 3 · METHOD
3 / 5
어떻게 풀었나
IAR(주입, 정렬, 복구) 프레임워크를 제안하며, 이는 세 단계로 구성된다. 첫째, 주입 단계에서 원본 문서를 연속 생성, 재작성, 조건부 재구성 목표로 변환한다. 둘째, 정렬 단계에서 답변 전용 질의응답 감독으로 모델을 적응시킨다. 셋째, 복구 단계에서 도메인 적응 모델을 기본 지시 모델과 병합하여 일반 능력을 회복한다.
CARD 4 · RESULTS
4 / 5
결과와 의의
Llama, Phi, Qwen, SmolLM 등 4개 모델 계열에서 Common Corpus와 CCI 데이터셋으로 평가한 결과, IAR은 기존 SFT 대비 8개 설정 중 7개에서 4개 지표 모두 개선하였다. 도메인 QA 정확도에서 평균 3.6 포인트, IFEval/MMLU/MSBench의 일반 성능에서 평균 12.1 포인트 향상을 달성했다.
!
이 연구는 검색 시스템 없이도 문서 지식을 언어 모델에 효과적으로 내재화할 수 있는 실용적인 방법을 제시한다. 도메인 특화 능력과 일반 능력 사이의 트레이드오프를 해소하는 데 의의가 있으며, 다양한 모델 크기와 계열에서의 일관된 성능 향상은 방법론의 광범위한 적용 가능성을 보여준다.
— 의의