AI 에이전트에게 맡겨도 되는 일, 아직 안 되는 일 — "복합 오류"의 수학

지금 이 글을 쓰고 있는 것도 사실 저(현규)가 아니라 매일 정해진 시각에 사람 개입 없이 돌아가는 제 AI 에이전트 파이프라인입니다. 리서치하고, 초안을 쓰고, 정해진 폴더에 저장까지 — 여기까지는 에이전트 혼자 합니다. 그런데 이 글을 실제로 블로그에 올리는 마지막 버튼은 여전히 제가 누릅니다. 왜 딱 여기서 자율성을 끊어뒀을까요? 오늘은 이 질문에 대한 답을, 최근 나온 꽤 흥미로운 숫자와 함께 정리해보려 합니다.

복합 오류의 수학 — "85%짜리 에이전트"가 무너지는 이유

AI 에이전트 하나하나의 정확도가 아무리 높아도, 여러 단계를 이어 붙이면 전체 성공률은 생각보다 훨씬 빨리 무너집니다. 각 단계 정확도가 85%인 에이전트로 10단계짜리 작업을 끝까지 자동으로 처리하면, 전체 성공률은 약 20%에 불과하다는 분석이 최근 업계에서 자주 인용되고 있습니다. 심지어 단계별 정확도가 95%로 꽤 높아도 20단계짜리 작업이면 성공률이 36%까지 떨어지고, 90%면 12%, 85%면 4%까지 떨어진다는 계산도 있습니다. 확률이 곱해지는 구조라 그렇습니다. 데모에서는 근사하게 보이는 에이전트가 실제 운영에 들어가면 자꾸 어딘가에서 어긋나는 이유가 바로 이 "복합 오류(compounding error)" 때문입니다.

그런데도 기업들은 AI 에이전트 도입을 멈추지 않습니다. 가트너는 2026년까지 전체 기업 애플리케이션의 40%가 특정 업무에 특화된 AI 에이전트를 탑재할 것으로 내다봤는데, 이는 2025년의 5% 미만에서 1년 만에 8배 뛰는 수치입니다. 즉 업계도 이 수학을 몰라서가 아니라, 알면서도 "어디까지 맡길지"를 설계로 풀어내는 쪽으로 가고 있다는 뜻입니다.

제가 실제로 나눠본 좁은 레인과 넓은 레인

이 원리를 제 파이프라인에 그대로 대입해보면 답이 명확해집니다. 카드뉴스 만들기, 릴스 캡션 쓰기, 오늘 같은 블로그 초안 쓰기는 3~5단계 안에서 끝나고, 결과물이 마음에 안 들면 그냥 다시 돌리면 그만입니다. 실패해도 되돌리기 쉬운 일이라 에이전트에게 통째로 맡겨도 괜찮습니다. 반대로 트레이딩 봇의 매매 전략을 바꾸는 일, 결제가 걸린 작업, 세컨 브레인처럼 여러 에이전트가 동시에 건드릴 수 있는 공유 자산을 수정하는 일은 단계도 길고 되돌리기도 어렵습니다. 이런 일까지 "알아서 해"라고 맡기면, 복합 오류 수학이 말해주듯 어딘가에서 반드시 어긋납니다.

결정과 실행을 분리하기

그래서 요즘 에이전트 설계에서 자주 쓰이는 패턴이 "결정(추천)"과 "행동(실행)"을 나누는 방식입니다. 에이전트가 환불을 제안하되 최종 승인은 사람이 하는 식으로, 위험한 결과가 나올 수 있는 지점에만 사람을 세워두는 겁니다. 제 세컨 브레인의 Pending_Approval 폴더도 정확히 이 역할을 합니다. 에이전트가 만든 결과물은 일단 여기 쌓이고, 발행이나 게시처럼 되돌리기 어려운 마지막 한 걸음만 제가 검토 후 승인합니다. 대신 예산 상한을 걸어 API 비용이 무한정 새어나가지 않게 막고, 모든 무인 실행은 로그와 완료 보고서를 남겨서 다음 사람(혹은 다음 에이전트)이 검수할 수 있게 해뒀습니다. 거창한 보안 체계가 아니라, "에이전트가 잘못 판단해도 피해가 제가 감당할 수 있는 선을 넘지 않게" 미리 울타리를 쳐두는 것에 가깝습니다.

그래서 1인 창업가는 무엇을 챙겨야 할까

혼자 회사를 운영한다고 모든 걸 에이전트에게 던져버리면 안 됩니다. 대신 이렇게 물어보시길 권합니다. 이 작업은 3~5단계 안에서 끝나는가, 결과가 틀려도 되돌릴 수 있는가, 최악의 경우 손실 범위가 내가 감당 가능한 수준인가. 세 질문에 모두 "그렇다"면 자율로 맡기고, 하나라도 "아니오"면 결정은 에이전트가 하되 실행 버튼은 사람이 누르는 구조로 나누면 됩니다. AI 에이전트는 점점 유능해지고 있지만, 유능함과 신뢰할 수 있는 자율성은 다른 문제입니다. 그 차이를 설계로 메우는 것이 결국 1인 기업 운영자의 몫입니다.

마치며

오늘도 이 글은 사람 없이 시작해서 사람 손으로 끝났습니다. 리서치와 초안은 에이전트가, 발행 버튼은 제가. 복합 오류의 수학이 알려주듯, 이 경계선은 앞으로 모델이 더 좋아져도 완전히 사라지지는 않을 겁니다. 대신 그 경계선을 어디에 그을지는 계속 다시 그려나가야겠죠. 저는 오늘도 그 선을 조금씩 옮겨보면서, AI를 동업자로 고용해 1인 회사를 만드는 실험을 이어가고 있습니다. 이 과정을 처음부터 끝까지 실전 기록으로 정리한 게 「AI 회사를 만들었습니다 -실전편-」입니다.

작성: Art Gourmet