데이터 마이닝의 함정과 퀀트투자의 도전
통계와 데이터 분석은 현대 금융 투자의 핵심 요소로 자리 잡았습니다.
그러나 데이터를 해석하는 과정에서 발생할 수 있는 오류와 함정에 대한 이해는 투자자에게 매우 중요합니다.
특히, 퀀트투자와 같이 수학과 통계학을 기반으로 한 투자 전략을 개발하는 과정에서 데이터 마이닝은 불가피한 도전 과제로 다가옵니다.
이번 글에서는 데이터 마이닝의 함정과 그것을 극복하기 위한 방법에 대해 이야기해보겠습니다.
데이터 마이닝의 함정
- 가짜 상관관계의 유혹: 데이터의 양이 방대해질수록, 상관관계처럼 보이는 가짜 패턴을 발견할 확률이 높아집니다.
예를 들어, 저번 칼럼에서의 방글라데시의 버터 생산량과 S&P500 지수 사이의 상관관계는 명백히 무의미하지만, 데이터 마이닝을 통해 이러한 관계를 발견할 수 있습니다.
이는 데이터 마이닝 과정에서 발생할 수 있는 가장 큰 오류 중 하나로, 투자 전략을 수립하는 데 있어 심각한 오류를 범할 수 있습니다 . - 이야기의 오류: 인간은 자연스럽게 패턴을 찾으려는 경향이 있습니다.
특히나 최근 젊은 투자자들이나 시장에 경험이 많으면서도 자기만의 비전으로만 시장을 바로보는 외골수 성향일 수록 그러한 경향이 드러나는 것을 필자는 자주 목격했습니다.
필자만의 확증편향일수 있습니다만 저의 개인 견해는 그렇습니다.
그런 경향이 잘 드러나는 경우가 의외로 정치이념에 매몰된 투자자들에게 많이 찾아볼수 있습니다.
그들은 자신이 믿는것에만 몰두하는 경향을 보입니다.
원인과 분석보다 믿음이 신념으로 발전되어 자신의 전략의 모순점을 찾지 못합니다.
이러한 경향은 때로 우연히 발생한 사건들 사이에도 의미 있는 관계가 있다고 착각하게 만듭니다.
나심 탈레브는 이를 ‘이야기의 오류’라고 불렀습니다.
이 오류는 투자자들이 엉터리 상관관계에 그럴듯한 이야기를 붙여 믿음을 갖게 만들 수 있습니다.
퀀트투자의 도전
- 데이터 마이닝의 올바른 활용: 퀀트투자에서 데이터 마이닝은 필수적인 과정입니다. 그러나 데이터를 기반으로 한 투자 아이디어의 발굴은 매우 신중하게 이루어져야 합니다. 투자 아이디어를 먼저 설정하고, 이를 데이터를 통해 검증하는 과정이 필요합니다. 이는 데이터 마이닝의 함정에 빠지지 않기 위한 가장 과학적인 접근법입니다.
- 통계적 유의미성의 이해: 통계적 분석을 통해 얻은 결과가 실제로 의미 있는지 판단하는 것은 매우 중요합니다. 예를 들어, 100개의 회귀분석을 실시했을 때 5개의 결과가 우연히 나타날 수 있다는 점을 이해하는 것이 중요합니다. 이는 퀀트투자자가 데이터 마이닝 과정에서 발견한 패턴의 진정한 가치를 평가하는 데 도움이 됩니다.
데이터 마이닝을 통한 가치투자 퀀트전략
데이터 마이닝과 가치투자의 결합
- 가치투자 퀀트전략의 개념: ‘Quantitative Value’ 투자 전략은 가치투자와 정량적 분석의 강점을 결합하여 수익을 극대화하는 방식입니다.
이 전략은 대규모 데이터 분석을 통해 시장에서 과소평가된 주식을 찾아내고, 이를 베이스로 투자 결정을 내립니다. - 데이터 마이닝의 중요성: 데이터 마이닝은 이러한 전략에서 가장 중요한 핵심적인 역할을 합니다.
대량의 과거 데이터를 분석하여, 시장의 패턴이나 투자 기회를 식별할 수 있으며, 이는 가치투자자들이 시장에서 과소평가된 자산을 찾는 데 도움을 줍니다.
여기서 주목할 점은 대량의 과거 데이터임을 알아야 합니다.
그 데이터들을 바탕으로 기간별 성과와 특성을 잡아내야 합니다.
이 부분은 경험이 많거나 주식 공부 좀 하셨다는 투자자들은 깊은 공감을 하실 내용입니다.
무조건 긴 데이터가 유용하다는 것이 아니라 각기 다른 사이클과 상황을 설명할수 있는 자료라고 생각해야 합니다.
가치투자 퀀트전략의 실제 적용
- 투자 전략의 실제 적용: 가치투자 퀀트전략은 다양한 시장 환경에서 테스트되고 있으며, 특히 COVID-19 팬데믹과 같은 글로벌 위기 상황에서도 그 효율성이 검증되었습니다.
- 개인 투자자의 접근: 개인 투자자들도 Python과 같은 프로그래밍 언어를 사용하여 자신만의 가치투자 퀀트전략을 개발하고 백테스팅을 진행할 수 있습니다.
또한 여러가지 이지서비스들의 등장으로 접근성이 매우 완화되었습니다. 이를 통해 개인 투자자들도 전문적인 투자 전략을 수립하고 실행할 수 있습니다.
데이터 마이닝을 통한 가치투자 퀀트전략은 전통적인 가치투자 원칙과 현대적인 데이터 분석 기법의 결합을 통해, 투자자들이 시장에서 과소평가된 자산을 식별하고 투자 수익을 극대화할 수 있는 강력한 도구라고 정의내릴수 있습니다.
전략의 단순화가 생각보다 아주 중요하다
정보의 양이 질은 아니다
요즘 우리는 정보의 홍수 속에 살고 있습니다.
인터넷과 디지털 기술의 발전으로 정보에 접근하는 것이 어느 때보다 쉬워졌습니다.
오히려 그러인해 정제되지 못한 정보들까지 무분별하게 접촉하는 불상사가 생길 지경입니다.
이렇게 쉽게 얻은 정보가 항상 우리의 결정을 더 나은 방향으로 이끌어주는 것은 아닙니다.
2008년의 연구에 따르면, 사람들은 추가 정보가 주어질 때 그들의 결정에 대한 확신은 커지지만, 결정의 정확도는 반드시 향상되지 않는다고 합니다. 상당히 의아하게 느끼는 분들이 많을실리라 생각됩니다.
힌트가 많으면 당연히 정답의 확률이 높아져야 하는데 말입니다.
하지만 이러한 현상은 경마 예상꾼부터 미식축구에 정통한 대학생들에 이르기까지 다양한 분야에서 관찰된 현상입니다.
정보가 많아질수록 우리는 더 많은 확신을 갖게 되지만, 그 확신이 정확한 결정으로 이어지지 않는 경우가 많습니다.
복잡성의 유혹
우리는 종종 복잡성에 매료되어 단순함을 간과합니다. 폴 와츠라비크의 실험은 이를 잘 보여줍니다.
실험 참가자들은 세포의 사진을 보고 ‘건강한’ 세포와 ‘병든’ 세포를 구별해야 했습니다.
하지만 복잡한 규칙을 따르도록 유도된 참가자들은 오히려 정확도가 떨어졌습니다.
이는 투자 결정에 있어서도 마찬가지입니다.
더 많은 데이터와 정보를 수집한다고 해서 반드시 더 나은 투자 결과를 가져오는 것은 아닙니다.
단순함의 힘
결국, 투자에 있어서도, 그리고 일상의 다양한 결정에 있어서도 단순함이 종종 더 나은 결과를 가져옵니다.
복잡한 모델과 이론에 현혹되지 말고, 핵심 데이터에 집중하는 것이 중요합니다.
단순화는 결정의 정확도를 높이고, 불필요한 과신을 줄이기 때문입니다.
! 보고서의 내용은 투자판단의 참고사항이며, 본 내용에 의한 투자결과에 대해 바투가와 작성 필진은 법적 책임을 지지 않습니다.
Leave a comment