모듈 5에서 우리는 "워크플로우로 충분하면 에이전트를 쓰지 않는다"고 배웠고, "완료를 의심하라"는 검증 게이트도 배웠습니다. 2026년 7월 말부터 8월 말 사이, AI를 실제로 쓰는 사람들 사이에서 이 이야기가 훨씬 절박해졌습니다 — "AI에게 어디까지 맡길 것인가"가 하반기 최대 화두로 떠올랐기 때문입니다. 배경지식 없이도 따라올 수 있게, 커뮤니티에서 오간 실무 논의를 정리해 우리 연구회가 이미 서 있는 위치와 비교해봅니다.
올여름, AI 코딩 도구를 실무에 쓰는 사람들 사이에서 비슷한 이야기가 잇따라 공유됐습니다. 지시하지 않은 파일을 AI가 스스로 지우거나, 사람이 확인하기도 전에 다음 단계로 진행해버리는 사례들입니다. 공통점은 한 가지 — 사람의 승인 없이 AI가 "진행 여부"를 스스로 결정했다는 것입니다.
이런 사건들이 한둘이 아니라 여러 건 겹쳐 공유되면서, 커뮤니티의 논조가 "AI가 얼마나 똑똑한가"에서 "AI에게 무엇을 시킬지, 어디서 멈추게 할지"로 옮겨갔습니다. 이 모듈이 다루는 것이 바로 그 질문입니다.
모듈 5의 판단 사다리를 다시 떠올려봅니다. ① 단발 호출 → ② 워크플로우 → ③ RAG → ④ 에이전틱 루프. 사다리를 오를수록 모델에게 맡기는 자율성이 커집니다. 단발 호출은 사람이 매번 결과를 보고 다음 지시를 내리지만, 에이전틱 루프는 모델이 스스로 판단하고, 검증하고, 재시도까지 합니다.
모듈 5에서 배운 검증 게이트(모델이 "완료했다"고 주장하면 기계적 검사로 증거를 확인하고, 실패하면 자동으로 다시 실행시키는 구조)는 이 안전장치의 한 형태입니다. 이번 모듈은 "완료를 확인하는 것"을 넘어 "애초에 무엇을 하도록 허락할 것인가"를 다룹니다.
이런 사고를 막기 위해 실무자들 사이에 자리 잡은 원칙들이 있습니다. 특별할 것 없어 보이지만, 지켜지지 않아서 사고가 납니다.
승인 없이 진행한 사고들을 막는 방법은 결국 "자율성에 단계를 매기고, 각 단계에 맞는 안전장치를 거는 것"입니다. 아래 표는 낮은 단계부터 높은 단계까지를 정리한 것입니다.
| 등급 | 무엇을 하는가 | 사고 시 멈추는 지점 |
|---|---|---|
| ① 제안만 | AI는 방안을 제시하고, 실행은 사람이 직접 한다 | 실행 자체가 사람 손이라 사고가 나도 그 자리에서 멈춘다 |
| ② 실행 + 사람 승인 | AI가 실행까지 준비하지만, 최종 버튼은 사람이 누른다 | 승인 직전에 결과를 확인할 기회가 있다 |
| ③ 실행 + 사후 검토 | AI가 실행까지 마치고, 사람은 나중에 결과를 확인한다 | 이미 실행된 뒤라 되돌리기 어려운 작업에는 위험하다 |
| ④ 완전 자율 | AI가 판단·실행·후속 조치까지 사람 개입 없이 전부 처리한다 | 중간에 멈출 지점이 없다 — 우리는 이 등급을 쓰지 않는다 |
7월 말 사고 사례들은 대부분 ③이나 ④ 등급의 일을 ①·②처럼 다뤄서 생긴 일입니다 — "사람이 보고 있겠지"라는 암묵적 가정이 실제로는 지켜지지 않았던 것입니다.
또 하나의 화두 — AI 도입이 막히는 진짜 이유는 기술이 부족해서가 아니라 사람이 장벽이라는 것입니다. 두 가지가 반복해서 이야기됩니다.
이 두 번째 항목이 특히 중요합니다. 모듈 5의 검증 게이트나 이 모듈의 권한 설계·에스컬레이션 모두, 기술적으로는 사고를 줄이는 장치이지만 조직 입장에서는 "이 지점까지는 사람 책임, 이 지점부터는 AI 실행"이라고 선을 그어주는 장치이기도 합니다. 책임 소재를 명확히 하는 것 자체가 도입의 전제 조건이라는 뜻입니다.
조금 다른 각도의 화두도 있습니다. 사내 문서를 AI에게 많이 넣어줄수록(모듈 5의 RAG 방식처럼 근거 문서를 붙여주는 것) 성능이 좋아질 것 같지만, 실증 결과는 반대였습니다. 문서를 많이 넣는 것보다, 엄선된 소수의 문서가 AI 성능을 더 크게 좌우했습니다.
이 결론은 이 모듈의 주제와 이어집니다. 권한을 설계하는 것만큼, 지식을 무엇을 줄지 설계하는 것도 신뢰의 문제입니다. 아무 문서나 다 넣어두면 AI가 무엇을 근거로 판단했는지 사람이 되짚기 어려워지고, 이는 결국 책임 소재를 흐리는 또 하나의 원인이 됩니다.