[주식 전진분석] 백테스트 과최적화를 막는 자동매매 최강의 검증법

지난 글에서 우리는 과거 데이터에만 억지로 수식을 끼워 맞추는 '과최적화(Curve-fitting)'가 시스템 트레이딩의 가장 치명적인 함정임을 확인했습니다. 그렇다면 내 매매 알고리즘이 과거의 정답을 단순 암기한 깡통 로봇인지, 아니면 실전에서도 수익을 낼 진짜 실력자인지 어떻게 판별할 수 있을까요? 그 해답은 바로 전진분석(Walk-forward Analysis)에 있습니다.

1. 데이터를 분리하라 : In-Sample vs Out-of-Sample

보통 초보자들은 과거 10년 치 주가 데이터를 통째로 가져와서 최적화를 돌립니다. 이렇게 하면 컴퓨터는 당연히 그 10년 동안 가장 수익이 높았던 완벽한 변수(정답)를 찾아냅니다. 하지만 이는 수능 기출문제를 미리 다 외우고 나서 똑같은 기출문제로 모의고사를 치는 것과 다름없습니다. 당연히 백점 만점이 나오겠지만, 진짜 수능(미래의 실전 시장)에서는 처참하게 실패합니다.

이를 방지하기 위해 전문 퀀트 투자자들은 전체 데이터를 두 개로 쪼갭니다. 하나는 전략의 변수를 다듬고 훈련시키는 '훈련용 데이터(In-Sample)'이고, 다른 하나는 훈련된 시스템이 한 번도 본 적 없는 미지의 차트인 '시험용 데이터(Out-of-Sample)'입니다.

기출문제(In-Sample)로 열심히 공부한 로직이, 한 번도 풀어보지 못한 새로운 사설 모의고사(Out-of-Sample)에서도 수익을 낸다면 이 전략은 시장의 본질을 관통하는 훌륭한 전략일 확률이 매우 높습니다.

2. 전진분석(Walk-forward)의 작동 원리

전진분석은 위에서 설명한 데이터 분할 기법을 한 단계 더 발전시킨, 가장 실전에 가까운 강력한 시뮬레이션 방법입니다. 특정 기간을 창문(Window)처럼 이동시키면서 최적화와 검증을 끊임없이 반복하는 롤링(Rolling) 방식을 사용합니다.

• 1단계: 2018년~2019년 데이터(In-Sample)로 전략을 최적화합니다.
• 2단계: 최적화된 로직을 2020년 데이터(Out-of-Sample)에 적용하여 성과를 검증합니다.
• 3단계 (전진): 기간을 한 칸 앞으로 이동시킵니다. 이제 2019년~2020년 데이터로 다시 최적화합니다.
• 4단계: 새롭게 최적화된 로직을 2021년 데이터에 적용하여 성과를 검증합니다.

이 과정을 과거 10년 치 데이터 전체에 걸쳐 수십 번 반복하면서, 각 Out-of-Sample 구간에서 발생한 수익률을 모두 연결(표집)하는 것이 바로 전진분석입니다. 시장의 트렌드가 바뀔 때마다 알고리즘이 스스로 적응할 수 있는지 테스트하는 가혹한 과정입니다.

3. 실전 계좌 투입 전 거쳐야 할 마지막 관문

단순 최적화만 진행했을 때 연 수익률 50%를 자랑하던 화려한 전략도, 이 엄격한 전진분석을 거치고 나면 수익률이 10~15% 수준으로 곤두박질치는 경우가 허다합니다. 심지어 마이너스로 돌아서는 전략도 수두룩합니다.

하지만 실망할 필요가 없습니다. 그 낮아진 수익률이야말로 미래의 실제 계좌에서 우리가 기대할 수 있는 가장 '현실적이고 진실한 성과'이기 때문입니다. 전진분석을 통과하지 못하고 박살 나는 전략은, 내 소중한 원금을 투입하기 전에 쓰레기통에 버려야 할 과최적화된 깡통 로봇이었음을 감사히 여기면 됩니다.

4. 제2장을 마치며 : 이론의 끝, 그리고 실전 코딩의 시작

이로써 우리는 시스템 트레이딩의 아이디어를 도출하고, 종목을 선정하며, 백테스트의 함정을 피해 전진분석으로 전략을 검증하는 '전략 개발 로드맵'의 모든 이론적 뼈대를 완성했습니다.