본문 바로가기

분류 전체보기

AI 결과를 두 개 이상의 모델로 교차 검증하는 방법 문제 제기: AI 한 개 답변만 믿으면 생기는 일AI에게 "이렇게 만들어줘"라고만 요청하면 내가 생각한 방향과 다른 결과가 나오는 경우가 많습니다. 실제로 자동매매 시스템을 AI만으로 개발하던 초기에도, 처음에는 단순히 "이렇게 해줘"라고 지시했다가 의도와 다르게 작업되는 일을 여러 번 겪었습니다.AI 답변은 그럴듯해 보여도 그대로 최종 결론으로 삼기에는 위험할 수 있습니다. 그래서 하나의 모델 답변만 믿기보다, 답이 실제로 맞는지 별도로 확인하는 절차가 필요합니다.왜 위험한가: AI 답변과 실제 동작은 다르다AI가 내놓는 답은 "그럴듯한 텍스트"이지 "검증된 사실"이라는 보장은 없습니다. 특히 다음 상황에서 오차가 커지기 쉽습니다.최신 API나 라이브러리 변경 사항을 모를 때"이 기능은 지원하지 않는다.. 더보기
AI가 '문제없다'고 해도 직접 테스트해야 하는 이유 만드는 건 쉬웠다, 문제는 그다음이었다자동매매 시스템을 직접 구축해 본 경험에서 가장 인상 깊었던 건, 시스템을 짜는 것 자체는 어렵지 않았다는 점이다. 오래 걸린 건 그다음이었다. 어떤 기준으로 사고팔지를 정하고, 그게 실제로 통하는지 검증하고 다듬는 과정이 진짜 일이었다.여기서 일반화할 수 있는 교훈이 나온다. 무언가를 '동작하는 형태'로 만드는 일과, '그 결과물이 실제로 옳게 동작하는지' 확인하는 일은 전혀 다른 단계라는 것이다. AI를 쓰든 안 쓰든, 결과물을 만드는 속도가 빨라져도 검증이라는 과정은 여전히 남는다.왜 AI의 '문제없음'을 그대로 믿으면 위험한가이 절은 실제 자동매매 기록에서 도출한 사실이 아니라, 일반적으로 통용되는 검증 원칙으로 읽어 주기 바란다. AI의 답변은 확률적으로 그.. 더보기
AI가 만든 결과를 100% 믿으면 안 되는 이유와 검증하는 법 "이렇게 해줘"만 하면 생각과 다른 게 나온다AI에게 작업을 맡길 때 가장 흔한 실수는 "이렇게 해줘", "이렇게 만들어줘"처럼 짧게 던지는 것입니다. 실제로 저도 처음에는 그렇게만 지시했고, 결과물이 제가 생각한 방향과 다르게 작업되는 경우가 많았습니다.겉보기에 완성된 것처럼 보여도, 정작 내가 원한 방향과 다를 수 있습니다. 그래서 결과를 그대로 믿는 대신, 지시 방법과 검증 절차를 함께 갖추는 편이 안전합니다.왜 위험한가 — 만드는 건 쉽고, 검증이 어렵다제가 자동매매 시스템을 만들면서 체감한 것은, 시스템을 구축하는 것 자체는 어렵지 않다는 점이었습니다. 진짜 오래 걸린 것은 그다음이었습니다.어떤 기준으로 사고팔지 정하는 일그 기준이 실제로 통하는지 검증하는 일검증 결과를 보고 다듬는 일저는 이 .. 더보기
AI에게 코딩을 맡길 때 '신입에게 설명하듯' 지시하는 법 문제: '이렇게 해줘'만 하면 왜 엉뚱한 결과가 나올까AI에게 코딩을 맡길 때 흔히 저지르는 실수가 있습니다. 실제 개발 과정에서도 처음에는 AI에게 그냥 "이렇게 해줘", "이렇게 만들어줘"라고만 지시했습니다. 그 결과 생각했던 방향과 다르게 작업되는 경우가 많았습니다.짧은 지시에는 내 머릿속에만 있는 전제가 잘 담기지 않습니다. 일반적으로 설명이 부족할수록 결과가 의도와 어긋날 가능성이 있는데, 실제로도 짧게 지시했을 때 원하던 방향과 다른 작업물이 나오는 일이 잦았습니다.왜 이 문제를 살펴야 하는가이 개발은 코딩을 직접 하지 않고 AI로만 만들겠다는 규칙 아래 진행했습니다. 그래서 AI에게 어떻게 지시하느냐가 결과물에 직접 영향을 주는 작업 방식이었습니다.직접 코드를 작성하지 않고 AI 지시 중심으.. 더보기
EP.10 무매수 진단, 한국에서 미국주식 시스템으로 들어가며: 거래가 없다는 신호를 어떻게 읽을까자동매매 시스템을 운영하다 보면 한동안 매수가 전혀 일어나지 않는 구간이 생깁니다. 이때 가장 손쉬운 대응은 진입 조건을 완화해 거래를 만들어내는 것이지만, 그렇게 하면 전략이 원래 가지고 있던 안전 여유가 함께 줄어듭니다.이 글은 한국(KR) 시스템에서 먼저 정리한 무매수 진단 접근을 같은 날 미국주식(US) 시스템에도 적용한 기록입니다. 결론부터 말하면, 이번 작업의 핵심은 매수 기준을 바꾸는 것이 아니라 왜 매수가 없었는지를 측정하는 장치를 넣는 것이었습니다.한국 시스템에서 먼저 얻은 관점KR 시스템에서는 무매수 현상을 조건 완화 문제가 아니라 관찰 대상으로 재정의했습니다. 어느 필터 단계에서 후보가 사라지는지, 그리고 그 후보가 만약 통과했다면 어떤 가.. 더보기
EP.09 무매수라고 조건 완화? 탈락 사유부터 관찰했다 들어가며: 거래가 없다는 신호를 어떻게 읽을까자동매매를 운영하다 보면 KR과 US 양쪽에서 한동안 매수가 일어나지 않는 무매수 현상을 마주하게 됩니다. 이때 가장 손쉬운 유혹은 "조건이 너무 빡빡한가 보다" 하고 진입 기준을 낮추는 것입니다.하지만 이번 기록에서는 그 반대 방향을 택했습니다. 매수 기준을 건드리지 않고, 왜 거래가 없는지를 먼저 관찰하는 방식으로 전환한 과정을 정리합니다.문제: 무매수 = 조건 완화가 아니다거래가 없다는 사실만으로 진입 조건을 낮추면, 전략이 원래 확보하고 있던 안전 여유를 훼손할 위험이 있습니다. 무매수의 원인이 시장 상황 때문인지, 필터 로직 때문인지, 아니면 신호 타이밍 때문인지 구분되지 않은 상태에서 기준을 완화하면 근거 없는 조정이 됩니다.그래서 이번에는 "완화 .. 더보기
EP.08 무매수 원인 진단: 신호 만료·손절 재알림·shadow 관측 강화 이번 회차에서 다루는 문제자동매매를 돌리다 보면 "왜 아무것도 사지 않았지?"라는 질문에 부딪히는 순간이 옵니다. 화면에는 신호가 지나간 것 같은데 정작 주문은 나가지 않았고, 손실은 벌어지는데 알림은 조용했습니다.이번 작업의 핵심은 무매수(주문이 나가지 않는 상태)의 원인을 추측이 아니라 관측으로 확인하는 것이었습니다. 이를 위해 신호 만료, 손절 재알림, shadow 미진입 진단을 각각 강화했습니다.먼저 조건을 완화하고 싶은 유혹거래가 없거나 알림이 적을 때 가장 손쉬운 대응은 진입 조건을 느슨하게 푸는 것입니다. 그러면 당장은 주문이 늘어난 것처럼 보입니다.하지만 이번에 배운 점은 명확합니다. 원인을 모른 채 조건부터 완화하면 안전장치를 훼손할 수 있다는 것입니다. 병목이 어디인지 모르는 상태에서 .. 더보기
EP.07 한국 주식 시스템에 둘을 붙이고 매니저를 만들었다 시작점: 한국 주식 시스템에 둘을 더 붙였다이 글은 시스템을 다듬어 온 기록의 한 대목이다. 기본이 된 것은 한국 주식용 시스템이었고, 여기에 코인과 미국 주식을 붙이는 구조로 확장했다.한국 주식 기반 시스템에 코인과 미국 주식을 붙인 셈인데, 다듬는 과정에서 문제가 반복적으로 드러났다.문제: 한국 주식은 되는데 미국 주식은 안 됐다확장하다 보니 한국 주식에서는 문제가 없는데 미국 주식에서만 문제가 생기는 일이 반복됐다.돌아보면 원인은 단순했다. 서로 다른 환경이라고 생각했어야 하는데, 계속 한국 주식 기준으로만 판단한 것이다. 그러다 보니 초반에 문제가 많았다.한국 주식 기준으로만 생각함한국 주식에서는 문제가 없는데 미국 주식에서 문제가 반복됨서로 다른 환경이라는 점을 초반에 고려하지 못함시도: 매니저.. 더보기
반응형

티스토리툴바