AI가 '문제없다'고 해도 직접 테스트해야 하는 이유

만드는 건 쉬웠다, 문제는 그다음이었다

자동매매 시스템을 직접 구축해 본 경험에서 가장 인상 깊었던 건, 시스템을 짜는 것 자체는 어렵지 않았다는 점이다. 오래 걸린 건 그다음이었다. 어떤 기준으로 사고팔지를 정하고, 그게 실제로 통하는지 검증하고 다듬는 과정이 진짜 일이었다.
여기서 일반화할 수 있는 교훈이 나온다. 무언가를 '동작하는 형태'로 만드는 일과, '그 결과물이 실제로 옳게 동작하는지' 확인하는 일은 전혀 다른 단계라는 것이다. AI를 쓰든 안 쓰든, 결과물을 만드는 속도가 빨라져도 검증이라는 과정은 여전히 남는다.

---

왜 AI의 '문제없음'을 그대로 믿으면 위험한가

이 절은 실제 자동매매 기록에서 도출한 사실이 아니라, 일반적으로 통용되는 검증 원칙으로 읽어 주기 바란다. AI의 답변은 확률적으로 그럴듯한 문장을 생성한 것이지, 코드를 실제로 실행해 보고 내린 결론이 아닌 경우가 많다. 특히 다음 상황에서 위험이 커진다.

• 실제 자원이 걸린 경우: 돈, 배포, 삭제처럼 되돌리기 어려운 동작이 포함될 때.
• '없다'는 대답: AI가 '오류 없다', '문제없다'고 단정할 때. 이건 검증했다는 뜻이 아니라 문제를 찾지 못했다는 뜻일 수 있다.
• 기준이 애매한 판단: 자동매매의 매수·매도 기준처럼, 정답이 코드가 아니라 현실 데이터에 있는 경우.

실제로 자동매매 검증은 내 실제 돈을 넣어가면서 했고, 그게 전체 과정에서 제일 오래 걸린 일이었다. 처음 프로그램이 주식을 샀을 때는 오히려 자신이 있었다. 나보다는 잘할 거라는 확신이 있었기 때문이다. 다만 그 자신감과 별개로, 통하는 기준인지 확인하는 검증에는 긴 시간이 필요했다.

---

AI 답변을 실제로 확인하는 절차

AI의 답변을 무조건 의심하라는 게 아니다. 확인 가능한 형태로 바꿔서 직접 돌려보라는 것이다.

• 1. 답변과 동작을 분리한다: AI가 말한 것과, 실행 결과 로그를 나란히 놓고 비교한다.
• 2. '없다'는 답을 다른 경로로 재확인한다: 다른 질문 방식, 다른 모델, 또는 직접 실행으로 교차 검증한다.
• 3. 가장 작은 테스트 케이스를 실행한다: 전체를 돌리기 전에 최소 단위로 한 번 돌려본다.
• 4. 되돌릴 수 있는 환경에서 먼저 한다: 가능하다면 실제 운영 환경 대신 되돌릴 수 있는 환경에서 먼저 확인한다.

---

바로 쓰는 검증 체크리스트

• AI 답변과 실제 동작(로그·결과)을 구분해서 확인했는가?
• '문제없다'는 답변을 다른 경로로 재확인했는가?
• 작은 테스트 케이스를 직접 실행해 봤는가?
• 서로 다른 모델 또는 사람의 검토를 한 번이라도 거쳤는가?
• 실패했을 때 되돌릴 방법과 승인 단계를 마련했는가?

이 다섯 가지 중 하나라도 '아니오'라면, 그건 검증이 아직 끝나지 않았다는 신호다.

---

적용 예시: 자동화 스크립트를 배포하기 전에

예를 들어 파일을 정리·삭제하는 자동화 스크립트를 AI에게 받았다고 하자. AI가 '이 스크립트는 안전합니다'라고 답해도 다음 순서를 권한다.

• 실제 폴더 대신 테스트용 복사본에서 먼저 돌린다.
• 삭제 대신 '삭제 대상 목록만 출력'하도록 바꿔 한 번 확인한다.
• 목록이 예상과 맞으면 그때 실제 실행으로 전환한다.
• 실행 전 백업 또는 취소 지점을 마련한다.

핵심은 되돌릴 수 있는 상태에서 실제 동작을 눈으로 확인하는 단계를 반드시 끼워 넣는 것이다. 자동매매에서 실제 검증에 오랜 시간을 들였던 것처럼, 결과물을 만드는 속도와 별개로 검증 단계를 생략하지 않는 습관이 중요하다.

---

한계와 주의사항

여기서 소개한 절차는 '실수를 줄이는' 방법이지, 모든 오류를 없애 주는 방법이 아니다. 작은 테스트를 통과했다고 큰 규모에서도 항상 안전한 것은 아니며, 특히 돈이 걸린 영역에서는 검증을 거쳐도 손실이 발생할 수 있다.
이 글은 자동매매를 포함한 개인 개발 경험에서 나온 원칙을 정리한 것이며, 특정 투자 성과나 수익을 보장하지 않는다. AI를 쓰든 안 쓰든, 되돌릴 수 없는 동작 앞에서는 작은 검증 단계를 먼저 두는 습관이 핵심이다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.