모두가 AI로 금융을 분석할 때, 금융 Agent의 진짜 경쟁 우위는?
요즘 SNS를 보다 보면 사이버펑크 스타일의 금융 Agent가 자주 눈에 띈다. 검은 배경에 네온 색상, 움직이는 캔들 차트, 멋진 대시보드. 몇 줄의 Vibe Coding으로도 제법 그럴듯하게 만든다. 계속 보다 보니 일부는 같은 공장에서 나온 ‘시세 플레이어’처럼 느껴진다. 흔히 구할 수 있는 시장 데이터를 붙이고, LLM이 즉석에서 해설한 뒤 UI만 바꿔 보여주는 식이다.
실시간 시세, 기술적 지표, 주문 흐름 분석은 분명 쓸모가 있다. 하지만 애니메이션을 끄고 나면 ‘강세’와 ‘약세’라는 말만 남는다. 그 판단을 뒷받침하는 연구는 어디에 있을까?
시장 데이터는 누구나 살 수 있고 LLM도 누구나 쓸 수 있다. 세계적인 전문가들이 경쟁하는 금융 시장에서 그 Agent는 과연 누구의 연구 판단을 가져오는가? 보기 좋은 리포트만으로 어떻게 우위를 얻을 수 있을까? LLM에 입력하는 몇 줄의 프롬프트가 정말 핵심 경쟁력인가?
직접 만든 NuvexLens의 개발 기록을 다시 살펴보니, 오히려 잘 풀리지 않았던 두 가지 결과가 더 이야기할 만했다.
실행은 끝났지만 새 모델은 승격되지 않았다
10월 운영 검증에서 중국 주식과 미국 주식의 자동 최적화 작업이 모두 끝났고 새 후보도 생성됐다. 하지만 두 후보 모두 해당 시장 상태에서 신호 방향이 뒤집힐 위험을 감지하는 승인 관문에 걸렸다. 쉽게 말해 그 시장 환경에서는 신호의 통계적 방향이 반대로 나타날 위험이 있어 새 가중치가 기존 모델을 바로 대체하지 못한 것이다. 단순히 시장 지수가 오를지 내릴지를 틀렸다는 뜻은 아니다.
작업이 성공적으로 종료되는 것과 새 모델을 운영에 투입하는 것은 서로 다른 판단이다. 후보는 그대로 남았고 기존 운영 모델을 계속 사용했다.
내가 투자 리서치 도구에서 중요하게 보는 건 오랫동안 축적한 과거 데이터와 검증 과정을 거친 연구 모델이다. 비슷한 시장 패턴이 다시 나오면 이전에 얼마나 자주 나왔고, 이후 결과가 어떻게 분포했으며, 어떤 시장 국면에서 신호가 실패했는지 확인할 수 있어야 한다. 역사가 그대로 반복되거나 모델이 매번 맞는다는 보장은 없다. 그래도 실제 계산과 검증, 수정의 기록은 프롬프트를 잘 다듬는다고 즉석에서 생기지 않는다.
더 엄격하게 고르니 10일 결과는 오히려 나빠졌다
별도의 미국 주식 과거 평가에서는 43거래일의 필터 기준을 살펴봤다. 기준을 강화하자 3일과 5일 지표 일부는 개선됐지만 10일 평균 이벤트 수익률은 −0.295%에서 −0.456%로 악화됐다. 두 기준에서 선택된 중복 제거 후 10일 이벤트 기록은 각각 2,002건과 1,651건이었다.
이 수치는 신호가 나온 뒤 10일간의 가격 변화다. 실제 계좌의 손실액이 아니다. 필터 기준이 달라지면 포함되는 표본도 달라진다. 기록을 중복 제거해도 10일 보유 구간은 서로 겹칠 수 있다. 짧은 기간만 보고 ‘더 엄격하면 더 좋다’고 말하기는 어렵다.
수익률 계산을 다시 살펴보면서 또 다른 함정도 발견했다. 신호 날짜별로 모은 보유기간 이벤트 수익률을 실제 포트폴리오의 일별 순자산가치로 간주해서는 안 된다. 그 시계열로 샤프 비율과 최대 낙폭을 계산하면 보고서는 그럴듯해도 통계의 대상이 틀릴 수 있다.
나는 이런 불편한 기록을 Agent가 답변에 가져오길 바란다. 어떤 후보가 탈락했는지, 단기 개선이 장기에는 이어지지 않았는지, 어떤 지표는 계산 정의부터 다시 봐야 하는지 말이다. 공개 데이터와 충실한 연구 코드만으로도 이런 기록을 쌓을 수 있다. 직접 검증해 보고 싶다면 공개 ETF로 진행한 Rank IC와 그룹별 수익률의 여러 기간 검증을 참고할 수 있다.
Agent는 설명을 맡고, 연구는 그때그때 만들어내지 않는다
Meta의 개인 Agent인 Muse가 인가된 REST API를 통해 NuvexLens의 기존 연구 스냅샷을 읽도록 한 적도 있다. 다만 별도의 연결 검증이었고, 그 스냅샷의 개별 결과가 앞서 언급한 두 과거 사례와 하나씩 대응한다는 증거는 아직 없다. API는 이미 만들어 둔 연구 결과를 Agent에게 전달할 뿐, 연구 자체는 질문이 오기 전에 이루어진다.
차트를 그릴 수 있다는 것과 판단이 실제 성과로 이어진다는 것은 별개다. 나는 이제 세 가지를 묻는다. 누가 계산했나? 언제 계산했나? 과거 비슷한 판단은 어땠나? 답할 수 없다면 LLM의 설명이 아무리 유창해도 처음의 경쟁 우위 문제는 그대로다.
참고: 이 글은 과거 연구와 엔지니어링 검증을 다루며, 일반 금융 Agent와 자체 연구 모델을 동일한 조건에서 비교한 수익률 실험이 아니다. 투자 조언이 아니다.