EP.28 등급별 결과가 정말 나아졌는지 확인하는 방법: 착시를 거르는 3가지 기준

이 글에서 답하는 질문

어떤 것을 좋은 것과 나쁜 것으로 나눠 놓았을 때, 좋은 쪽이 정말 더 나은 결과를 냈는지 어떻게 확인할까요? 결론부터 말하면, 두 결과의 차이가 충분히 크고, 확인한 개수가 충분히 많고, 버린 쪽이 오히려 더 낫지는 않은지 세 가지를 함께 봐야 합니다. 앞의 두 가지는 '진짜 차이가 있는지'를 판정하는 조건이고, 세 번째는 그와 별개로 항상 확인하는 경고 신호입니다.
이 글은 저희가 만든 종목 선별 도구에서 실제로 겪은 실수를 바탕으로 합니다. 좋은 등급(A)과 낮은 등급(C)의 결과 차이가 아주 미미했는데도 프로그램이 "차이가 있다"고 표시하던 문제를 고친 기록입니다. 숫자를 잘 모르는 분도 따라 할 수 있게 풀어 썼습니다.

---

무엇이 문제였나: 0.03%p 차이를 '성공'이라 부른 것

저희 도구는 종목을 A(좋음)부터 C(낮음)까지 등급으로 나누고, 시간이 지난 뒤 각 등급이 평균적으로 어떤 결과를 냈는지 비교합니다. 문제는 판정 방식이었습니다.

• A등급 평균: 약 -0.36%
• C등급 평균: 약 -0.39%
• 두 값의 차이: 겨우 0.03%p

이렇게 차이가 거의 없는데도 프로그램은 "A가 C보다 나음, 등급별 차이가 실제로 있음"이라고 표시했습니다. A가 C보다 아주 조금이라도 크기만 하면(부호만 맞으면) 무조건 성공으로 처리했기 때문입니다. 이건 실력이 아니라 우연한 흔들림(노이즈)을 성과로 착각한 것입니다.

---

왜 이게 위험한가

차이가 작을수록, 그리고 확인한 개수가 적을수록 우연히 그런 결과가 나올 가능성이 큽니다. 동전을 몇 번만 던지면 앞면이 조금 더 나올 수 있지만 그걸 '이 동전은 앞면이 잘 나온다'고 말할 수 없는 것과 같습니다.
게다가 더 심각한 신호도 놓치고 있었습니다. 애초에 걸러내서 제외한 종목들의 평균 결과가 +1.26%로, 남겨둔 A등급보다 오히려 좋았던 것입니다. 이건 '거르는 기준 자체가 거꾸로 됐을 수 있다'는 아주 중요한 경고인데, 프로그램은 아무 말도 하지 않았습니다.

---

어떻게 고쳤나: 성공 판정 두 관문과 별도 경고

판정 전용 규칙을 새로 만들었습니다. 먼저 '진짜 차이가 있음'이라고 표시하는 성공 판정은 아래 두 조건을 모두 만족할 때만 통과합니다.

1. 차이가 충분히 큰가 — A와 C의 평균 차이가 1.0%p 이상이어야 함. 그보다 작으면 '판정 보류'로 표시.
2. 확인한 개수가 충분한가 — 각 등급마다 확인한 종목이 최소 5개 이상이어야 함.

그리고 이 성공 판정과는 별개로, 제외한 종목의 평균이 A 평균보다 높으면 '⚠️ 걸러낸 종목이 남긴 종목보다 성적이 좋음(거르는 기준 점검 필요)' 경고를 항상 따로 띄웁니다. 차이가 있든 없든, '거르는 기준이 거꾸로 됐을 수 있다'는 신호는 무조건 눈에 띄게 만들었습니다. 오래 보는 기준 자체는 바꾸지 않고, 판정 문구와 경고만 손봤습니다.

---

바뀐 점 한눈에 보기

성공 판정 기준	A가 C보다 조금이라도 크면 성공	차이 1.0%p 이상 + 각 등급 5개 이상일 때만 성공
미미한 차이(예: 0.03%p)	"차이가 실제로 있음"으로 표시	"판정 보류"로 표시
버린 쪽이 더 나은 경우	경고 없음	별도 경고 표시(성공 판정과 무관)

이 변경과 함께 점검 6건과 전체 점검 57건이 모두 통과했습니다.

---

초보자가 직접 써먹는 확인 순서

어떤 분류가 정말 효과가 있는지 스스로 확인하고 싶을 때 아래 순서로 보세요.

1. 차이의 크기부터 본다 — 두 그룹의 평균 차이가 눈에 띄게 큰지 확인합니다. 소수점 몇 자리 차이면 일단 의심합니다.
2. 몇 개로 비교했는지 본다 — 두세 개만 비교한 결과라면 우연일 수 있으니 판단을 미룹니다.
3. 버린 것과 비교한다 — 걸러낸 쪽이 남긴 쪽보다 나으면, 분류 기준 자체를 다시 봐야 한다는 신호입니다.

이 세 가지를 함께 보면 작은 차이나 적은 개수를 성급하게 '성공'으로 판단하는 실수를 줄이는 데 도움이 됩니다.