AI 자동화에 사람 검수 단계를 반드시 넣어야 하는 이유

문제 제기: '만드는 것'은 쉽고 '믿는 것'은 어렵다

AI에게 자동화 시스템을 맡기면 결과물 자체는 만들어진다. 실제로 자동매매 시스템을 AI로만 개발했을 때도 시스템을 구축하는 것 자체는 어렵지 않았다. 정작 오래 걸린 것은 그다음이었다. 어떤 기준으로 동작할지 정하고, 그게 실제로 통하는지 검증하고 다듬는 과정 말이다.
즉, AI 자동화의 진짜 난관은 '만들기'가 아니라 '이게 제대로 도는지 확인하기'다. 그리고 이 확인은 자동화 밖에 있는 사람이 해야 한다.

---

왜 위험한가: 지시대로 됐다고 믿기 어렵다

AI에게 그냥 '이렇게 해줘', '이렇게 만들어줘'라고만 지시했더니, 내가 생각했던 방향과 다르게 작업되는 경우가 많았다. 이게 핵심이다. 결과물이 나왔다고 해서 내가 의도한 대로 동작한다는 보장은 없다.

• 의도와 결과의 간극: 두루뭉술하게 지시하면 생각했던 방향과 다르게 작업되는 경우가 많았다.
• 확인 없는 신뢰의 함정: 결과물을 직접 확인하지 않으면, 원하는 대로 됐다는 것은 확인이 아니라 추정에 가깝다.
• 돌이킬 수 없는 영역: 자동매매처럼 실제 돈이나 외부 시스템이 얽히면, 잘못된 자동 실행은 즉시 결과로 이어진다.

---

확인 절차: 자동화를 믿기 전에 거치는 단계

자동매매를 만들 때, 전략을 짜기 전에 제일 먼저 한 일은 '프로그램이 대신 사고파는 게 애초에 가능한가'를 알아보는 것이었다. 이렇게 전제부터 검증하는 습관이 자동화 전반에 필요하다. 아래는 실제 경험과 독자를 위한 권장 절차를 함께 정리한 것이다.

• 전제 검증: 자동화하려는 동작이 애초에 가능한 일인지, 어떤 통로로 가능한지부터 확인한다. (실제로 매매 가능 여부와 API 통로부터 확인했다.)
• 작은 테스트(권장): 전체를 맡기기 전에 작은 케이스를 직접 실행해 결과를 눈으로 보는 단계를 독자에게 권한다.
• 실제 조건에서의 검증: 자동매매의 경우 실제 돈을 넣어가며 검증했고, 그게 가장 오래 걸린 일이었다. (실제 조건에서 검증하라는 것은 일반적 권장 사항이다.)
• 지시의 구체화: AI에게 두루뭉술하게 지시했더니 결과가 엇나가서, 신입에게 설명하듯 자세하고 친절하게 지시하는 방식으로 바꿨다.

---

사람 검수 체크리스트

• AI의 답변과 실제 동작을 구분했는가?
• '문제 없다'는 답변을 다른 경로로 재확인했는가?
• 작은 테스트 케이스를 직접 실행해봤는가?
• 서로 다른 모델이나 사람의 검토를 거쳤는가?
• 실패했을 때 되돌릴 방법과 승인 단계를 마련했는가?

---

적용 예시: 자동매매 개발에서 어떻게 적용했나

코딩은 직접 하지 않고 AI로만 작업한다는 규칙을 정해두고 시작했다.

• 매매가 가능한 통로(API)가 실제로 있는지 확인하고 키를 발급받는 것부터 시작했다.
• 지시가 두루뭉술하면 엉뚱한 결과가 나와서, 신입에게 설명하듯 구체적으로 지시하는 방식으로 바꿨다.
• 사고파는 기준을 정하고 그게 실제로 통하는지 검증·다듬는 과정을 거쳤으며, 이 검증은 실제 돈을 넣어가며 진행했다.

이 경험을 일반화하면, 자동화 결과를 바로 신뢰하지 말고 '전제 확인 → 구체적 지시 → 실제 검증' 순으로 사람이 개입 지점을 만드는 것이다. 여기에 더해, 독자에게는 실제 검증 전에 '작은 테스트 케이스 실행'을 별도 단계로 끼워 넣기를 권한다.

---

한계와 주의사항

여기 정리한 것은 특정 자동매매 개발 경험에서 얻은 원칙이며, 모든 자동화에 그대로 들어맞는 정답은 아니다. 프로젝트 성격에 따라 검수 지점과 강도는 달라진다.

• 사람 검수를 넣는다고 해서 오류가 사라지는 것은 아니다. 검수는 위험을 줄이는 장치일 뿐이다.
• 자동매매를 포함한 어떤 자동화도 수익이나 성과를 보장하지 않는다. 실제 결과는 조건에 따라 달라진다.
• 실제 돈이나 되돌리기 어려운 작업이 얽힌 경우, 승인 단계와 롤백 방법을 먼저 마련한 뒤 자동 실행을 켜는 것이 안전하다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.