예측 기능을 만들었다면 연결보다 적중률 집계가 먼저다

예측을 만들면 곧장 연결하고 싶어진다

규칙이든 모델이든 예측 기능을 만들면 가장 먼저 하고 싶은 일은 그 신호를 실제 동작에 연결하는 것이다. 방향을 맞히는 로직을 짰으니, 그 방향대로 진입하는 매매에 바로 붙이면 성과가 날 것 같다. 하지만 이 순서를 뒤집으면 나중에 두 가지 질문을 구분할 수 없게 된다. '예측이 맞았는가'와 '연결한 전략이 돈을 벌었는가'는 다른 질문인데, 처음부터 붙여 버리면 둘이 하나의 결과로 뭉쳐 버린다.
실제 개발에서도 이 순서를 지켰다. 장초반 5분봉으로 단기 방향을 예측하는 관찰 도구를 먼저 만들었고(EP.12), 그 뒤 누적 적중률을 집계하고 나서야 삼성전자·SK하이닉스 방향 신호를 가상단타 진입에 연결했다(EP.16). 연결이 마지막에 온 것은 우연이 아니라 검증 순서 때문이다.

---

왜 바로 연결하면 위험한가

예측을 실전 흐름에 바로 붙이면 세 가지가 동시에 섞인다. 신호의 정확도, 전략의 진입·청산 로직, 그리고 시장 상황이다. 어느 날 손실이 났을 때 예측이 틀린 건지, 진입 타이밍이 나쁜 건지, 그냥 시장이 안 좋았던 건지 분리할 방법이 없다. 반대로 수익이 나도 예측 덕분인지 우연인지 알 수 없다.
특히 위험한 것은 사후 합리화다. 장초반 가설은 일봉 데이터로 검증할 수 없다. 하루가 다 지난 뒤 일봉만 남으면 '그때 이랬으니 이 규칙이 맞았다'는 식으로 결과를 보고 규칙을 끼워 맞추게 된다. 관찰 시점의 분봉과 그 시점에 내린 예측을 함께 저장해 두지 않으면, 나중에 남은 데이터로 규칙을 합리화하는 오류를 피할 수 없다. 예측 기능의 검증은 데이터를 언제 찍었느냐에서 이미 갈린다.

---

검증 순서: 저장 → 대사 → 분리 연결

실제로 지킨 순서는 아래와 같다. 각 단계는 자기 환경의 예측 기능에도 그대로 적용할 수 있다.

1. 관찰 시점 데이터를 예측과 함께 저장한다. 방향을 예측한 그 순간의 입력 데이터(여기서는 장초반 5분봉 캔들)와 당시 내린 예측을 한 세트로 저장한다. 캔들 저장소를 따로 두고, 예측 결과도 같은 시각 기준으로 남긴다. 사후에 재구성할 수 있는 데이터로 대체하지 않는다.
2. 날짜별로 예측과 실제 결과를 대사한다. 매일 예측이 맞았는지 실제 결과와 대조하는 정확도 리포트를 만든다. 단발성 확인이 아니라 누적 적중률을 날짜별로 쌓아야 한다. 몇 번 맞았다가 아니라 '30거래일 동안 몇 %'가 나와야 신호를 믿을지 판단할 근거가 생긴다.
3. 연결은 shadow book부터 시작한다. 적중률이 쌓인 뒤에도 실주문에 바로 붙이지 않는다. 방향 신호를 Shadow Open(가상 진입)에만 연결해서, 실주문과 기존 추천 흐름에는 영향을 주지 않게 한다. 이렇게 하면 신호 품질과 매매 성과를 분리해서 각각 측정할 수 있다.

핵심은 세 단계 사이에 항상 관찰 기간이 낀다는 점이다. 저장만 하고 바로 연결하면 대사 단계가 통째로 빠진다.

---

적용 전과 후는 무엇이 다른가

같은 예측 기능이라도 순서를 지켰을 때와 아닐 때 나중에 답할 수 있는 질문이 달라진다.

손실 원인	예측/전략/시장이 뭉쳐 구분 불가	적중률 리포트와 shadow 성과를 각각 확인
사후 합리화	남은 일봉으로 규칙 끼워맞춤	관찰 시점 분봉+예측이 남아 방지
실주문 영향	검증 안 된 신호가 실거래에 노출	Shadow Open에만 적용, 실주문 무영향
판단 근거	느낌·소수 사례	날짜별 누적 적중률

---

체크리스트

• 예측을 내린 그 시점의 입력 데이터를 예측과 한 세트로 저장했는가?
• 사후에만 남는 요약 데이터(일봉 등)로 검증하려 하고 있지 않은가?
• 날짜별 누적 적중률을 대사하는 리포트가 있는가? 단발 확인으로 끝내지 않았는가?
• 실전 연결 전에 shadow book(가상 진입)으로 먼저 돌려봤는가?
• 연결이 실주문·기존 흐름에 영향을 주지 않도록 격리했는가?
• 신호 품질과 매매 성과를 각각 따로 측정할 수 있는가?

---

한계와 주의사항

이 순서는 검증 방법론일 뿐 수익을 보장하지 않는다. 적중률이 높다고 그 예측을 연결한 전략이 돈을 번다는 뜻은 아니다. 방향은 맞아도 진입·청산 타이밍이나 비용 때문에 성과가 나쁠 수 있다. 그래서 신호 품질과 매매 성과를 끝까지 분리해서 봐야 한다.
또한 누적 적중률은 표본이 적을 때 크게 흔들린다. 며칠치 데이터로 나온 높은 적중률은 우연일 가능성이 크므로, 판단은 충분한 거래일이 쌓인 뒤로 미루는 편이 안전하다. 여기 적은 내용은 국내주식 장초반 관찰 도구를 만들며 얻은 기록이며, 어떤 종목·기간·전략에서도 같은 결과가 난다는 보장은 없다. 자신의 환경에서 작은 테스트로 직접 확인한 뒤 적용하기 바란다.