폐쇄망에서
지능을 서빙하다

폐쇄망에서 작은 AI를 직접 돌려보고,
"이 업무엔 어디까지 필요한가"를 판단하는 힘을 기릅니다

이하 5분은 이 한 장을 "왜, 어떻게"로 풀어가는 이야기입니다.

AI는 이제 "공장"입니다 — 전기와 데이터를 넣으면 지능이 나오는

• 세계 빅테크의 데이터센터 투자가 전 세계 석유·가스 생산 투자를 넘어섰습니다.
• 그 공장 연산의 80~90%는 추론(서빙) — 모델을 만드는 일이 아니라 돌리는 일입니다.
• "지능의 비용은 결국 전기 요금처럼 싸진다" — 그런데 그 지능이 우리 데이터를 다뤄도 되는가는 별개 문제입니다.

우리 데이터는 밖으로 나갈 수 없습니다

• 민원·특허·내부 시스템에는 이름, 연락처, 기업 정보가 들어 있습니다.
• 클라우드 AI는 피할 수 없는 미래입니다. 언젠가는 씁니다 — 대규모 인프라와 보안·거버넌스 설계를 갖춰 안전하게 쓰는 길이 있으니까요.
• 다만 그건 큰 규모의 일이고, 지금 당장 우리가 할 수 있는 준비는 아닙니다.

그래서 먼저 — "데이터를 안 내보내고, 우리 기계 안에서 어떻게 쓸 것인가"

지금 우리가 할 수 있는 현실적 준비, 그 답이 사내에서 도는 작은 언어 모델 sLM입니다.

큰 자원은 큰 사업으로 — 우리는 남는 자원으로 시작했습니다

• 사내 서버와 멘토링 자원은 개발경연(Gamification)·AI 챌린지 등 주력 사업에 우선 배정되어 있습니다. 당연한 우선순위입니다.
• 그래서 우리는: 2016년형 GPU 서버(민원 효율화 목적으로 기할당받은 P100 2장) + 개인 무료 클라우드 + 리더 개인 장비로 갑니다.
• 튜닝은 외부에서 해서 반입해야 하고, 그마저 제약이 많습니다 — 그래서 오히려 좋은 훈련장입니다.
• ※ 솔직히 말씀드리면 P100은 2016년 도입된 GPU라 노후가 심합니다 — 연속 배칭·PagedAttention 같은 최신 서빙 최적화나 최신 양자화, 드라이버 지원이 막혀 있습니다. 이 한계를 정확히 어디까지인지 실측하는 것부터가 저희 산출물입니다.

예산이 부족한 상황은 앞으로도 반복됩니다. 그때마다 "있는 것으로 해내는 힘"이 우리가 기르려는 것입니다.

모델을 "길들이던" 시대에서, "부리는" 시대로

공개 모델의 성능이 "튜닝 없이 실무에 쓸 만한 선"을 올해 넘었습니다 — 이 전환을 몸으로 익히는 것이 이번 연구회입니다.

장비보다 오래 남는 것

• 산정력 — "이 장비에 어떤 모델이 몇 명까지 돌아가는가"를 계산으로 답하는 힘
• 판단력 — 이 업무엔 단순 호출이면 되나, 정해진 순서(워크플로우)면 되나, 스스로 재시도하는 에이전트까지 필요한가 — 소 잡는 칼을 닭 잡는 데 쓰지 않는 판단
• 검증력 — AI의 "다 했습니다"를 믿지 않고 기계적으로 확인하는 장치(검증 게이트)를 설계하는 힘

업계에서도 사람에게 남는 역량을 "좋은 문제를 고르는 감각, 중간 결과를 의심하는 눈, 검증 방법을 설계하는 능력"이라 말합니다 — 우리 커리큘럼 그 자체입니다.

감이 아니라 숫자로 시작했습니다

• 민원 100건으로 사전 실증 — 사내에서 도는 4B(휴대폰급) 모델이 개인정보를 99% 지우고, 요약 품질 5점 만점에 4.9점.
• 같은 실험에서 "생각하는 모델"은 건당 3초가 18초로 — 어떤 모델을 어디 쓸지가 실측으로 갈렸습니다.
• 비개발자 회원 7명을 위한 학습 사이트(모듈 8개·퀴즈 39문항·용어사전)를 직접 만들어 배포했습니다 → 지금 QR로 보고 계신 그 사이트입니다.

실제 업무 3가지로 실증합니다

진행은 내부 포털(타임라인·작업 보드·데이터 공유함)에서 관리합니다 — 모든 실험 기록이 자동으로 남습니다.

공공 AX 논의가 말하는 것, 말하지 않는 것

서울AI재단(ERC 웹진)과 삼성SDS의 공공 AX 전략 기고를 함께 읽었습니다.

• 두 글의 공통 결론 — "어떤 기술"보다 "어떤 업무를 바꿀 것인가"가 먼저, 반복성 높고 검수 쉬운 업무부터, 사람 중심의 검토·승인 체계로. → 우리가 이미 하고 있는 방식 그대로입니다.
• 두 글의 공통 전제 — 범정부 공통기반과 중장기 투자가 "와 준다"는 것. 그런데 그 기반이 와도 민감 데이터는 결국 기관 안에서 처리해야 하고(공통 플랫폼이 우리 폐쇄망 안까지 들어와 주지는 못합니다), 검토·승인의 판단 역량은 사서 도입할 수 없습니다.
• 그래서 유의점은 하나입니다 — 기반을 기다리는 동안, 판단 기준과 사람의 근육은 미리 길러둬야 한다. 그 "미리"가 이 연구회입니다.

준비는 규모가 아니라 근육입니다

• 업계는 이제 회사의 자산을 둘로 봅니다 — 사람의 역량(인적 자본)과 회사가 소유한 AI 역량('토큰 자본'). 후자는 사서 끝나는 게 아니라 길러야 쌓입니다.
• 대규모 도입이 어려운 시기일수록, 작은 실증으로 판단 기준(골든셋·산정표·검증 게이트)을 먼저 만들어두는 것이 나중 큰 결정의 보험이 됩니다.
• 우리 연구회는 그 보험을 추가 예산 없이 만드는 중입니다.