Vì sao chiến lược giao dịch nhìn đẹp trên quá khứ vẫn có thể thua ngoài thực tế?

Một trong những hiểu lầm phổ biến nhất của người mới làm chiến lược là cho rằng kết quả đẹp trên dữ liệu lịch sử đã đủ để chứng minh một hệ thống có lợi thế. Thực tế không vận hành như vậy. Backtest chỉ cho biết một chiến lược đã từng trông như thế nào khi áp lên dữ liệu cũ. Nó không tự động chứng minh rằng chiến lược đó đang nắm được một quy luật đủ bền để tiếp tục tồn tại trong tương lai. Trong nghiên cứu về backtest overfitting, Bailey và López de Prado chỉ ra rằng việc thử nhiều mô hình rồi chọn mô hình đẹp nhất có thể làm hiệu suất quan sát được bị thổi phồng đáng kể, còn Deflated Sharpe Ratio được xây ra chính để điều chỉnh selection bias trong quá trình tìm kiếm chiến lược.

Điểm khó của đầu tư định lượng chưa bao giờ nằm ở chỗ viết ra một quy tắc trông hợp lý. Phần khó hơn nhiều là biết liệu kết quả đẹp đó đến từ lợi thế thật hay chỉ đến từ việc chiến lược tình cờ khớp với dữ liệu cũ, bỏ qua ma sát của thị trường thật, hoặc được tối ưu quá mức. Nói cách khác, câu hỏi quan trọng không phải là chiến lược lời bao nhiêu trong quá khứ, mà là lợi nhuận đó đến từ cơ chế nào, có bền không, có còn đứng được khi môi trường đổi khác không. Chính ở chỗ này, rất nhiều backtest đẹp bắt đầu bộc lộ vấn đề.

I. Backtest đẹp không đồng nghĩa với lợi thế thật

Chiến lược giao dịch nhìn đẹp trên quá khứ chưa chắc đã có lợi thế thật, vì dữ liệu lịch sử luôn chứa hai thứ cùng lúc: tín hiệu và nhiễu. Tín hiệu là phần có thể lặp lại. Nhiễu là phần ngẫu nhiên, chỉ đẹp trong một giai đoạn nhất định rồi biến mất khi điều kiện thay đổi. Một backtest đẹp chỉ trở nên có ý nghĩa khi nhà đầu tư có lý do đủ mạnh để tin rằng hệ thống đang bắt được tín hiệu chứ không phải đang học thuộc nhiễu. Nghiên cứu về The Probability of Backtest Overfitting đi thẳng vào đúng điểm này: nếu thử quá nhiều đặc tả rồi chỉ giữ lại chiến lược tốt nhất, xác suất chọn trúng một kết quả đẹp do ngẫu nhiên là hoàn toàn có thật.

Đây là lý do vì sao cùng một đường lợi nhuận, người có kinh nghiệm sẽ không hỏi trước tiên chiến lược này lời bao nhiêu, mà sẽ hỏi chiến lược này đã được xây như thế nào. Có bao nhiêu lần thử trước khi ra phiên bản cuối cùng. Có bao nhiêu tham số được điều chỉnh. Có bao nhiêu điều kiện được thêm vào chỉ vì chúng làm equity curve đẹp hơn. Khi chưa trả lời được những câu hỏi đó, backtest vẫn chỉ là một bức ảnh lịch sử, chưa phải một bằng chứng đủ mạnh để cấp vốn hay giao dịch thật.

Trong đầu tư, sự nguy hiểm không nằm ở một chiến lược xấu ngay từ đầu. Chiến lược xấu thường lộ điểm yếu khá nhanh. Chiến lược nguy hiểm hơn là chiến lược nhìn đủ đẹp để tạo ra niềm tin, đủ ổn để được đưa vào thực chiến, nhưng lại không có nền tảng bền bên dưới. Một hệ thống như vậy có thể sống rất tốt trong giai đoạn test, nhưng khi bước sang dữ liệu mới hoặc gặp môi trường khác, nó bắt đầu hỏng mà người vận hành không hiểu vì sao. Đây là lý do backtest cần được nhìn như bước đầu của kiểm định, chứ không phải đích cuối của xác nhận.

II. Những lý do phổ biến khiến chiến lược thắng trên giấy nhưng thua ngoài thực tế

Lý do đầu tiên là tối ưu quá mức. Đây là lỗi cơ bản nhất và cũng phổ biến nhất. Một chiến lược bị tối ưu quá mức không còn học quy luật của thị trường, mà học thuộc từng khúc cong của dữ liệu lịch sử. Khi đó, nó rất hợp với sample cũ nhưng nhanh chóng mất tác dụng ở sample mới. Điều đáng nói là tối ưu quá mức không chỉ xảy ra với mô hình phức tạp. Ngay cả một hệ thống rất đơn giản cũng có thể bị tối ưu quá mức nếu người xây liên tục đổi tham số, đổi cửa sổ thời gian, thêm bớt điều kiện rồi chỉ công bố phiên bản có kết quả tốt nhất. Chính vì thế, một chiến lược càng được tinh chỉnh nhiều mà không có kỷ luật kiểm định, càng dễ trông đẹp hơn thực chất của nó.

Lý do thứ hai là rò rỉ thông tin từ tương lai về quá khứ. Đây là look-ahead bias, một trong những lỗi làm backtest đẹp lên rất nhanh mà người làm chưa chắc nhận ra. Daniel và các đồng tác giả cho thấy look-ahead benchmark bias trong danh mục cổ phiếu có thể tạo ra sai lệch hiệu suất rất lớn, tới khoảng 8 phần trăm mỗi năm trong một số trường hợp trên S&P 500. Một backtest bị nhiễm kiểu lỗi này trông như thể chiến lược rất thông minh, nhưng thực ra nó chỉ đang dùng thông tin mà tại thời điểm giao dịch thật nhà đầu tư chưa thể biết. Chỉ cần căn sai ngày công bố dữ liệu, dùng bộ chỉ số hiện tại để quay lại quá khứ, hoặc để dữ liệu tài chính đã điều chỉnh lọt vào quy trình test, chiến lược đã không còn phản ánh môi trường thật nữa.

Lý do thứ ba là survivorship bias. Một chiến lược có thể trông rất ổn nếu chỉ test trên những cổ phiếu còn sống, còn thanh khoản, còn nằm trong chỉ số, hoặc đã trở thành những cái tên khỏe nhất sau khi thị trường thanh lọc qua nhiều năm. Brown, Goetzmann, Ibbotson và Ross đã chỉ ra từ rất sớm rằng survivorship bias có thể tạo ra vẻ ngoài như có tính dự báo, trong khi một phần kết quả thực ra đến từ việc mẫu nghiên cứu đã bị cắt bỏ những trường hợp thất bại. Với chiến lược giao dịch cổ phiếu, lỗi này đặc biệt nguy hiểm vì nó khiến người làm cảm thấy hệ thống chọn được cổ phiếu tốt, trong khi thật ra họ chỉ đang test trên tập cổ phiếu may mắn sống sót tới hiện tại.

Lý do thứ tư là bỏ qua chi phí giao dịch và chất lượng thực thi. Trên file backtest, mọi lệnh dường như đều được khớp gọn, đúng giá, đúng thời điểm. Ngoài thị trường thật, mọi thứ luôn xấu hơn. AQR nhấn mạnh transaction costs là một phần tất yếu của mọi chiến lược đầu tư và việc phân tích chi phí quá đơn giản có thể dẫn tới kết luận sai về chất lượng chiến lược. Chi phí ở đây không chỉ là phí môi giới. Nó còn là spread, slippage, market impact và cả phần lợi nhuận mất đi vì lệnh không được thực hiện đúng như giả định. Với những hệ thống giao dịch ngắn hạn hoặc quay vòng nhiều, chỉ riêng lớp ma sát này đã đủ để bào mòn gần hết một lợi thế vốn đã mỏng.

Lý do thứ năm là thị trường đã đổi trạng thái. Một chiến lược có thể rất hợp với một giai đoạn nhất định rồi yếu đi rõ rệt khi bối cảnh thay đổi. Thị trường tài chính không có tính ổn định cố định như nhiều người mới tưởng. Mức biến động, thanh khoản, vai trò của dòng tiền, mặt bằng lãi suất và cả hành vi nhà đầu tư đều có thể thay đổi theo chu kỳ. Nghiên cứu về backtest overfitting trong bối cảnh machine learning nhấn mạnh chính đặc tính non-stationary của dữ liệu tài chính làm cho khả năng tổng quát hóa của mô hình khó hơn nhiều so với những bài toán dữ liệu ổn định hơn. Một chiến lược sống nhờ xu hướng mạnh sẽ khác hẳn một chiến lược phải chạy trong thị trường sideway. Một chiến lược hợp với thanh khoản dồi dào cũng chưa chắc chịu được môi trường tiền tệ thắt chặt. Nhiều hệ thống không hỏng vì chúng hoàn toàn vô dụng, mà vì chúng được sinh ra cho một thị trường đã không còn tồn tại.

III. Một chiến lược đủ tốt ngoài thực tế thường có đặc điểm gì?

Chiến lược đủ tốt ngoài thực tế hiếm khi là chiến lược đẹp nhất. Nó thường là chiến lược có logic đủ rõ, ít tham số hơn mức người mới thường thích, và chịu được việc bị kiểm tra ở những góc khó. Một chiến lược như vậy không cần mượt ở mọi đoạn. Nó chấp nhận những giai đoạn khó, chấp nhận drawdown có lý do, và quan trọng nhất là giải thích được vì sao nó có thể tạo ra lợi thế. Khi một hệ thống kiếm tiền từ xu hướng, từ carry, từ mean reversion hay từ một dạng hành vi dòng tiền cụ thể, người vận hành có cơ sở để đánh giá lúc nào edge còn, lúc nào edge mờ dần. Nếu không có phần logic nền đó, chiến lược chỉ còn lại một đường cong đẹp mà rất khó sửa khi bắt đầu xuống cấp.

Một chiến lược đáng tin cũng phải chịu được cách kiểm tra trung thực. Điều đó có nghĩa là phải có dữ liệu ngoài mẫu, phải tính chi phí theo hướng bảo thủ, phải kiểm soát leakage, phải tránh survivorship bias, và phải ghi nhận trung thực số lần thử mô hình. Chính vì vậy, Deflated Sharpe Ratio có giá trị thực tế rất lớn. Nó nhắc nhà đầu tư rằng Sharpe ratio đẹp không tự động đáng tin, nhất là khi kết quả đó xuất hiện sau một quá trình thử nhiều chiến lược rồi giữ lại chiến lược tốt nhất. Trong đầu tư định lượng, một kết quả kém hào nhoáng hơn nhưng sống sót sau các lớp kiểm tra nghiêm ngặt thường đáng giá hơn rất nhiều so với một backtest lấp lánh nhưng thiếu trung thực về quy trình tạo ra nó.

Một đặc điểm nữa của chiến lược đủ tốt là nó phải sống được với con người vận hành. Trên file dữ liệu không có cảm xúc. Ngoài thực tế, người giao dịch phải chịu chuỗi thua, phải nhìn lợi nhuận bị xói mòn bởi chi phí, phải chống lại cám dỗ sửa hệ thống đúng lúc nó đang gặp giai đoạn khó. Một chiến lược có kỳ vọng dương nhưng drawdown sâu, tần suất tín hiệu quá nhiễu hoặc hành vi lợi nhuận quá thất thường có thể không phù hợp với chính người đang dùng nó. Điều này rất thực tế. Một hệ thống chỉ đáng tin khi không chỉ đúng về mặt thống kê, mà còn có khả năng được tuân thủ trong đời thật.

IV. Nhà đầu tư nên đọc một backtest như thế nào?

Cách đọc backtest đúng không phải là nhìn vào đường lợi nhuận rồi quyết định tin hay không tin. Cách đọc đúng là hỏi chiến lược này kiếm tiền từ đâu, rủi ro thật nằm ở đâu, và có bao nhiêu lớp kiểm tra đã được đi qua trước khi kết quả này xuất hiện. Một backtest tử tế phải đi kèm với các câu hỏi khó. Nếu đổi tham số nhẹ, kết quả có còn giữ được không. Nếu đổi giai đoạn test, chiến lược có còn hoạt động không. Nếu đưa chi phí thực thi về mức bảo thủ hơn, lợi thế còn bao nhiêu. Nếu thêm dữ liệu mới, cấu trúc hiệu suất có thay đổi rõ không. Đây mới là những câu hỏi biến backtest từ một công cụ thuyết phục thành một công cụ kiểm định.

Nhà đầu tư cũng nên tập một phản xạ rất quan trọng: càng đẹp càng phải nghi ngờ. Trong tài chính, vẻ đẹp thường không phải lý do để tin thêm; nó là lý do để kiểm tra thêm. Một chiến lược quá mượt, quá ít drawdown, quá ổn định trong mọi giai đoạn thường xứng đáng bị chất vấn kỹ hơn, không phải được ca ngợi sớm hơn. Khi nhìn backtest với tâm thế đó, nhà đầu tư bắt đầu bước vào phần nghiêm túc nhất của tư duy định lượng. Không còn hỏi hệ thống này có vẻ thắng không, mà hỏi liệu hệ thống này có đang sống nhờ tín hiệu thật hay chỉ đang mặc đẹp nhờ dữ liệu quá khứ.

Kết luận

Chiến lược giao dịch nhìn đẹp trên quá khứ vẫn có thể thua ngoài thực tế vì quá khứ luôn dễ hơn đời thật. Dữ liệu lịch sử không phản kháng. Nó không trượt giá, không giãn spread đúng lúc bạn muốn vào lệnh, không thay đổi cấu trúc thị trường ngay sau khi bạn cấp vốn, và cũng không tố cáo rằng kết quả đẹp kia đến từ quá nhiều lần thử. Chính vì thế, một backtest đẹp chỉ là điểm bắt đầu của sự nghi ngờ, không phải điểm kết thúc của sự xác nhận. Các nghiên cứu về backtest overfitting, deflated Sharpe ratio, look-ahead bias và survivorship bias đều dẫn về cùng một kết luận: phần lớn hiệu suất bị thổi phồng không đến từ ý đồ gian dối, mà đến từ việc quy trình kiểm định chưa đủ nghiêm.

Vì vậy, trong đầu tư định lượng, mục tiêu không phải là làm cho chiến lược trông đẹp nhất. Mục tiêu là làm cho nó đủ thật. Đủ thật để chịu được dữ liệu mới. Đủ thật để không sụp khi phí và slippage đi vào. Đủ thật để sống được qua lúc thị trường đổi chế độ. Và đủ thật để người vận hành hiểu rõ mình đang thắng nhờ điều gì, đang thua vì điều gì, và khi nào cần dừng lại thay vì tự kể cho mình nghe thêm một câu chuyện đẹp về quá khứ.