입력 시퀀스 내 토큰들 간 가중치를 학습해 중요한 부분에 집중하는 메커니즘.
신경망의 핵심 특징 추출 부분. ResNet, ViT 등이 이미지 백본으로 자주 쓰인다.
잠재 표현에서 출력을 생성하는 신경망 구성요소. GPT 계열이 디코더 기반.
입력을 잠재 표현으로 변환하는 신경망 구성요소. BERT 등이 인코더 기반.
다층 퍼셉트론. 가장 기본적인 신경망 구조의 하나로 트랜스포머에도 포함된다.
전문가 혼합 모델. 입력별로 일부 파라미터(전문가)만 활성화해 효율을 높인다.
검색 기반 생성. 외부 지식 베이스에서 관련 문서를 찾아 LLM에 함께 입력해 정확도를 높인다.
전체가 아닌 일부 토큰 쌍에만 어텐션을 계산해 효율을 높이는 기법.
어텐션 메커니즘을 핵심으로 하는 신경망 구조. 2017년 구글이 제안했으며 현대 LLM의 기반이 되었다.
환경의 동작을 내부 시뮬레이션으로 학습해 미래를 예측하는 모델.
도구를 사용하고 다단계 작업을 자율적으로 수행하는 AI 시스템.
코드와 가중치가 비공개로, API로만 접근 가능한 모델.
모델이 한 번에 처리할 수 있는 입력 토큰의 최대 길이.
모델 학습·평가에 사용되는 정제된 데이터 묶음.
단어·문장·이미지를 고차원 벡터로 변환한 표현. 의미적 유사도를 거리로 계산할 수 있다.
물리적 환경과 상호작용하며 학습·행동하는 AI. 로봇·자율주행에 적용.
그래픽 처리 장치. 병렬 연산에 강해 딥러닝 학습의 표준 하드웨어.
LLM이 사실과 다른 정보를 그럴듯하게 생성하는 현상.
학습된 모델로 새로운 입력에 대한 결과를 생성하는 단계.
학습 후 모델이 실제 입력에 응답하는 단계. 최근 추론 시점에 추가 연산으로 성능을 높이는 연구가 늘었다.
트랜스포머 추론 시 이전 토큰의 키·값 벡터를 캐싱해 속도를 높이는 기법.
신경망이 데이터를 압축·표현하는 추상적 고차원 공간.
모델 컨텍스트 프로토콜. AI 모델이 외부 도구·데이터에 표준화된 방식으로 접근하는 프로토콜.
텍스트·이미지·오디오 등 여러 형식의 데이터를 동시에 처리하는 모델.
모델 가중치가 공개되어 누구나 다운로드·활용 가능한 모델.
LLM에 입력하는 지시문이나 질문. 프롬프트 설계로 모델 행동을 유도한다.
모델 파라미터의 정밀도를 낮춰(예: FP16→INT8) 메모리·속도를 개선하는 기법.
단계적 사고를 통해 결론에 도달하는 모델의 능력. 최근 o1·DeepSeek-R1 등이 이를 강화.
작은 모델로 먼저 토큰을 예측하고 큰 모델이 검증하는 추론 가속 기법.
구글이 만든 텐서 연산 특화 칩. 대규모 학습에 활용.
텍스트를 모델이 처리하는 최소 단위. 단어 일부, 문자, 서브워드 등이 될 수 있다.
LLM이 외부 함수나 API를 호출해 작업을 수행하는 능력.
모델 성능을 표준화된 데이터셋과 지표로 측정하는 평가 도구.
부동소수점 연산 횟수. 모델의 계산 비용을 표현하는 단위.
언어모델의 예측 불확실성 지표. 낮을수록 더 좋은 모델.
노이즈를 점진적으로 제거해 이미지·동영상을 생성하는 모델. Stable Diffusion, DALL-E 등이 사용.
생성적 적대 신경망. 생성기와 판별기를 경쟁시켜 학습하는 생성 모델.
대규모 언어 모델 (Large Language Model). 수십억~수조 파라미터로 학습된 텍스트 생성 모델.
변분 오토인코더. 확률적 잠재 변수로 데이터를 압축·생성하는 모델.
비전-언어 모델. 이미지와 텍스트를 함께 이해·생성하는 멀티모달 모델.
비전 트랜스포머. 이미지에 트랜스포머를 적용한 모델.
직접 선호 최적화. RLHF의 보상 모델 없이 선호 데이터로 직접 학습하는 단순화 기법.
그룹 상대 정책 최적화. DeepSeek이 R1에 사용한 효율적인 RL 알고리즘.
근접 정책 최적화. 강화학습의 대표적 알고리즘으로 RLHF에 많이 사용.
사람 피드백 기반 강화학습. ChatGPT의 핵심 학습 기법.
보상을 최대화하는 행동을 시행착오로 학습하는 학습 패러다임.
응답의 좋고 나쁨을 점수로 매기는 모델. RLHF에서 핵심 역할.
출력 오차를 입력 방향으로 전파하며 각 가중치의 기여도를 계산하는 학습 알고리즘.
사고 사슬. 모델이 단계별로 추론 과정을 출력하도록 유도하는 프롬프트 기법.
큰 모델(teacher)의 지식을 작은 모델(student)에 전수해 효율을 높이는 기법.
소수의 예시만 프롬프트에 제공해 모델이 작업을 학습·수행하게 하는 방식.
사전 학습된 모델을 특정 작업이나 도메인에 맞게 추가 학습하는 과정.
오차를 줄이는 방향으로 파라미터를 반복 갱신하는 최적화 알고리즘.
저차원 행렬만 학습해 큰 모델을 효율적으로 파인튜닝하는 기법.
학습 데이터에만 지나치게 맞아 새 데이터에선 성능이 떨어지는 현상.
대규모 일반 데이터로 모델을 처음 학습시키는 단계. 이후 파인튜닝의 기반이 된다.
지도 파인튜닝. 라벨링된 데이터로 모델을 학습시키는 기본적인 파인튜닝 방식.
모델 크기·데이터·연산량과 성능의 관계를 정량적으로 나타낸 경험 법칙.
라벨 없이 데이터 자체에서 학습 신호를 만들어 학습하는 방식.
특정 작업에 대한 별도 학습 없이 모델이 곧바로 수행하는 방식.