효과크기 썸네일형 리스트형 AI가 만든 '성공' 판정, 부호만 맞으면 통과시키는 함정 — 최소격차·표본 가드로 막는 법 문제 제기: '방향이 맞았다'와 '차이가 있다'는 다르다데이터로 두 그룹을 비교할 때 가장 흔히 저지르는 실수가 있습니다. A의 평균이 B의 평균보다 크기만 하면 "A가 더 낫다"고 결론 내리는 것입니다. 방향(부호)만 보고 판정하는 이 방식은 언뜻 합리적으로 보이지만, 차이의 크기와 표본 수를 무시하기 때문에 노이즈를 실력으로 착각하게 만듭니다.실제로 제가 만든 종목 등급 스크리너의 포워드 평가 함수(run_value_forward_eval)에서 이 문제가 터졌습니다. 판정 조건이 사실상 다음 한 줄이었습니다.if A.avg > C.avg: judgment = "✅ A>C 변별력 있음"이 코드는 A 등급 평균이 C 등급 평균보다 크기만 하면 무조건 성공을 표시합니다. 문제가 드러난 사례는 이랬습니.. 더보기 이전 1 다음
