본격적인 기술 내용에 들어가기 전에, 우리가 왜 이 공부를 하는지부터 정리합니다. 이 모듈만 읽어도 연구회의 방향이 보입니다.
ChatGPT, Claude 같은 서비스는 클라우드에서 돌아갑니다. 내가 입력한 텍스트가 외부 회사의 서버(내 요청을 받아 처리해주는 원격 컴퓨터)로 전송되고, 답변이 돌아오는 구조입니다. 편리하지만 우리 업무 환경에서는 두 가지 벽에 부딪힙니다.
그래서 방향을 뒤집습니다. 모델을 우리 컴퓨터 안으로 가져오는 것 — 이것이 로컬 AI이고, 우리 연구회 AXIS(한국특허정보원 사내 학습동아리 CoP 가운데 폐쇄망 sLM·에이전트를 연구하는 그룹)의 출발점입니다.
더 나아가기 전에, 가장 기초적인 구분 하나를 정확히 해둡시다. AI 이야기에는 학습(training)과 추론(inference)이라는 두 국면이 있습니다.
여기서 챗봇을 써본 분들이 가장 많이 갖는 오해가 풀립니다 — "모델은 나와 대화하면서 점점 배워가는 것 아닌가요?" 아닙니다. 모델은 배우지 않습니다 — 대화 내용은 작업 기억(컨텍스트)에 잠시 담길 뿐이고, 새 대화를 열면 사라집니다. 모델 자체를 바꾸는 것은 별도의 학습 과정(파인튜닝, 모듈 5)뿐입니다.
그리고 이 구분이 산업 전체의 방향을 설명합니다. 모델을 만드는 일(학습)은 소수 기업이 가끔 하지만, 만들어진 모델을 쓰는 일(추론)은 전 세계가 매일 수십억 번 합니다. 그래서 AI 연산의 무게중심이 학습에서 추론으로 이동하고 있습니다 — 요리학교 정원은 그대로인데 전국에 새로 생기는 식당은 계속 늘어나는 것과 같습니다. 이 흐름 속에서 우리 연구회가 하는 모든 활동(서빙(모델을 장비에 올려 쓸 수 있는 상태로 돌리는 것 — 모듈 4의 주제), 하네싱, 평가)이 바로 이 추론의 영역입니다. 이 이동이 반도체 시장을 어떻게 흔드는지는 심화 모듈(모듈 7)에서 다룹니다.
GPT-4 같은 최상위 모델은 수천억 개의 파라미터를 가진 거대한 프로그램이라 개인 장비에서는 돌릴 수 없습니다. 하지만 최근 몇 년 사이 sLM(small Language Model, 소형언어모델)이 빠르게 발전했습니다. 파라미터 수십억 개(4B~30B급, B=Billion=10억) 규모로, 좋은 게이밍 노트북이나 사무실 GPU 서버에서 충분히 돌아갑니다.
물론 sLM은 최상위 클라우드 모델보다 성능이 떨어집니다. 대략 수개월의 격차가 있다고들 말합니다(대형 모델이 몇 달 전에 보여주던 수준이라는 뜻입니다). 그런데 여기에 중요한 반전이 있습니다:
이 연구회에서 여러분이 가져갈 가장 중요한 감각은 이것입니다: AI의 성능은 모델 크기만으로 정해지지 않습니다. 모델을 감싸는 구조(하네스)가 결과를 바꿉니다.
같은 모델이라도 —
모델을 바꾼 게 아닙니다. 증거 없이는 통과되지 않는 구조 하나를 끼웠을 뿐입니다. 6월 발표에서 본 "완료를 의심하라" 데모가 바로 이것이고, 이런 구조를 설계하는 일을 하네싱(harnessing) 또는 루프 엔지니어링이라고 부릅니다.
이 감각은 작은 로컬 모델에서 익히면 토큰 비용 없이 무한정 연습(토큰=글자 조각 단위, 모듈 1에서 설명합니다)할 수 있고, 나중에 어떤 최신 모델을 만나도 그대로 통합니다. 모델은 계속 바뀌지만 구조를 설계하는 능력은 남기 때문입니다.
앞으로 7개 모듈에서 아래를 순서대로 배웁니다. 각 모듈 끝의 퀴즈까지 풀면 목차에 완료 표시가 붙습니다.
| 모듈 | 주제 | 이걸 배우면 답할 수 있는 질문 |
|---|---|---|
| 1 | 하드웨어 기초 | 내 장비에서 어떤 모델까지 돌릴 수 있나? |
| 2 | LLM 동작 원리 | 왜 길게 넣으면 느려지고, 동시에 쓰면 더 느려지나? |
| 3 | 양자화 | 품질을 조금 양보하고 속도·메모리를 얻는 법은? |
| 4 | 서빙 엔진 | Ollama, llama.cpp, vLLM 중 뭘 언제 쓰나? |
| 5 | RAG와 에이전트 | 챗봇을 넘어 업무를 '실행'시키려면? |
| 6 | 평가 | 어떤 모델이 "좋다"고 말할 근거는? |
| 7 (심화) | AI 반도체 생태계 | NVIDIA 독주는 왜, K-NPU는 어디까지 왔나? |