24 khái niệm thống kê trong khoa học dữ liệu – Giải thích đơn giản, dễ hiểu
24 khái niệm thống kê
Ngọc Hải LươngThống kê là nền tảng của khoa học dữ liệu, đầu tư định lượng và rất nhiều mô hình AI hiện nay. Nghe đến thống kê, nhiều người thường nghĩ ngay đến công thức phức tạp, nhưng phần lớn các khái niệm quan trọng đều có thể hiểu theo cách rất trực quan. Chúng giúp chúng ta biết dữ liệu đang tập trung ở đâu, biến động mạnh hay yếu, hai yếu tố có liên quan với nhau hay không, một kết quả có đáng tin hay chỉ xuất hiện do ngẫu nhiên.
Trong đầu tư, thống kê xuất hiện ở khắp nơi. Lợi nhuận trung bình, độ biến động, tương quan giữa các cổ phiếu, xác suất thắng của một chiến lược hay kết quả backtest đều dựa trên các khái niệm thống kê. Hiểu được những khái niệm cơ bản dưới đây sẽ giúp việc đọc dữ liệu và đánh giá một chiến lược trở nên rõ ràng hơn rất nhiều.
Phần 1. Các khái niệm giúp hiểu một tập dữ liệu
1. Mean – Giá trị trung bình
Mean là giá trị trung bình của toàn bộ dữ liệu.
Ví dụ lợi nhuận của một cổ phiếu trong 5 ngày lần lượt là 2%, -1%, 3%, 1% và 0%. Tổng lợi nhuận là 5%, chia cho 5 ngày thì lợi nhuận trung bình là 1%.
Mean rất dễ sử dụng nhưng có một hạn chế: một vài giá trị quá lớn hoặc quá nhỏ có thể làm kết quả bị lệch.
2. Median – Trung vị
Median là giá trị nằm chính giữa sau khi sắp xếp dữ liệu từ nhỏ đến lớn.
Ví dụ:
1%, 2%, 3%, 4%, 30%.
Giá trị trung bình là 8%, nhưng trung vị chỉ là 3%. Trong trường hợp này, con số 30% quá lớn nên kéo giá trị trung bình lên cao. Median giúp chúng ta thấy mức điển hình của dữ liệu rõ hơn.
3. Mode – Giá trị xuất hiện nhiều nhất
Mode là giá trị xuất hiện với tần suất cao nhất.
Ví dụ:
1, 2, 2, 2, 3, 4.
Mode là 2.
Khái niệm này thường hữu ích với các dữ liệu được chia thành nhóm, chẳng hạn mức xếp hạng phổ biến nhất, mức giá xuất hiện nhiều nhất hoặc nhóm hành vi thường gặp nhất.
4. Range – Khoảng biến thiên
Range là khoảng cách giữa giá trị lớn nhất và nhỏ nhất.
Nếu lợi nhuận ngày cao nhất của một cổ phiếu là +7% và thấp nhất là -5%, range là 12%.
Range cho biết dữ liệu có thể dao động rộng đến mức nào nhưng chỉ sử dụng hai điểm cực trị nên chưa phản ánh đầy đủ toàn bộ dữ liệu.
5. Variance – Phương sai
Variance cho biết dữ liệu phân tán quanh giá trị trung bình nhiều hay ít.
Hai cổ phiếu có thể cùng đạt lợi nhuận trung bình 10%/năm nhưng một cổ phiếu tăng khá đều, trong khi cổ phiếu còn lại lúc tăng rất mạnh, lúc giảm rất sâu. Variance của cổ phiếu thứ hai sẽ lớn hơn.
Hiểu đơn giản, variance càng lớn thì dữ liệu càng thiếu ổn định.
6. Standard Deviation – Độ lệch chuẩn
Độ lệch chuẩn cũng đo mức độ phân tán của dữ liệu và thường được sử dụng nhiều hơn variance vì dễ diễn giải hơn.
Trong tài chính, standard deviation thường được dùng để đo mức biến động của lợi nhuận.
Một cổ phiếu có lợi nhuận trung bình tốt nhưng độ lệch chuẩn rất lớn đồng nghĩa với việc nhà đầu tư phải chấp nhận mức dao động cao hơn.
7. Percentile – Phân vị
Percentile cho biết một giá trị đang đứng ở vị trí nào so với toàn bộ dữ liệu.
Ví dụ một cổ phiếu có momentum ở percentile 90 nghĩa là momentum của nó mạnh hơn khoảng 90% cổ phiếu còn lại trong tập dữ liệu.
Percentile được dùng rất nhiều trong đầu tư định lượng để xếp hạng cổ phiếu.
8. Outlier – Giá trị ngoại lệ
Outlier là những giá trị khác biệt rất lớn so với phần còn lại.
Một cổ phiếu thường chỉ tăng giảm khoảng 1-2% mỗi ngày nhưng đột nhiên giảm 15% sau một thông tin bất ngờ. Phiên giảm đó có thể được xem là một outlier.
Trong nhiều lĩnh vực, outlier đôi khi được loại khỏi dữ liệu. Tuy nhiên trong tài chính cần rất cẩn thận vì chính những biến động cực đoan lại thường chứa thông tin quan trọng về rủi ro.
Phần 2. Xác suất, phân phối và mối quan hệ giữa các dữ liệu
9. Probability – Xác suất
Probability cho biết khả năng một sự kiện xảy ra.
Một chiến lược có 100 giao dịch, trong đó 55 giao dịch có lãi, có thể được mô tả là có tỷ lệ thắng lịch sử khoảng 55%.
Điều cần lưu ý là xác suất không có nghĩa kết quả tiếp theo chắc chắn sẽ giống quá khứ. Một chiến lược có tỷ lệ thắng cao vẫn có thể gặp nhiều giao dịch thua liên tiếp.
10. Distribution – Phân phối dữ liệu
Distribution cho biết các giá trị trong dữ liệu được phân bố như thế nào.
Ví dụ lợi nhuận hàng ngày của một cổ phiếu có thể tập trung chủ yếu quanh mức 0%, thỉnh thoảng xuất hiện những phiên tăng hoặc giảm mạnh.
Quan sát phân phối giúp hiểu điều gì thường xuyên xảy ra và điều gì là bất thường.
11. Normal Distribution – Phân phối chuẩn
Phân phối chuẩn thường có dạng hình chuông. Phần lớn dữ liệu nằm gần mức trung bình và càng cách xa mức trung bình thì càng ít xuất hiện.
Đây là một mô hình rất phổ biến trong thống kê. Tuy nhiên, lợi nhuận trên thị trường tài chính không phải lúc nào cũng tuân theo phân phối chuẩn. Những phiên tăng hoặc giảm cực mạnh thường xuất hiện nhiều hơn so với giả định của mô hình đơn giản này.
12. Skewness – Độ lệch của phân phối
Skewness cho biết dữ liệu có bị nghiêng nhiều về một phía hay không.
Một chiến lược có thể thường xuyên kiếm những khoản lợi nhuận nhỏ nhưng đôi khi chịu một khoản thua lỗ rất lớn. Một chiến lược khác có thể thường xuyên thua nhỏ nhưng thỉnh thoảng có một giao dịch thắng rất lớn.
Dù lợi nhuận trung bình giống nhau, cách lợi nhuận và thua lỗ xuất hiện có thể hoàn toàn khác nhau.
13. Kurtosis – Mức độ xuất hiện của các giá trị cực đoan
Kurtosis giúp đánh giá mức độ thường xuyên xuất hiện các biến động rất xa giá trị trung bình.
Thị trường tài chính thường có hiện tượng được gọi là “fat tails”, nghĩa là những biến động cực lớn xảy ra nhiều hơn so với mô hình phân phối chuẩn dự đoán.
Đây là lý do quản trị rủi ro không thể chỉ dựa vào biến động trung bình.
14. Correlation – Tương quan
Correlation đo mức độ hai biến thay đổi cùng nhau.
Correlation gần +1 cho thấy hai biến thường di chuyển cùng chiều. Gần -1 cho thấy chúng thường đi ngược chiều. Gần 0 cho thấy mối quan hệ tuyến tính khá yếu.
Ví dụ các cổ phiếu cùng ngành thường có mức tương quan cao hơn so với những doanh nghiệp thuộc các ngành hoàn toàn khác nhau.
Correlation đặc biệt quan trọng khi xây dựng danh mục đầu tư vì việc nắm giữ nhiều tài sản có tương quan quá cao chưa chắc đã tạo ra sự đa dạng hóa thực sự.
15. Covariance – Hiệp phương sai
Covariance cũng đo mức độ hai biến thay đổi cùng nhau.
Covariance dương cho thấy hai biến có xu hướng cùng tăng hoặc cùng giảm. Covariance âm cho thấy chúng có xu hướng đi ngược chiều.
Khái niệm này là nền tảng của nhiều mô hình xây dựng và tối ưu danh mục đầu tư.
16. Conditional Probability – Xác suất có điều kiện
Xác suất có điều kiện là xác suất một sự kiện xảy ra khi đã có thêm một thông tin hoặc điều kiện khác.
Ví dụ xác suất một cổ phiếu tiếp tục tăng có thể thay đổi khi xuất hiện thêm các điều kiện như khối lượng giao dịch tăng mạnh, thị trường chung tích cực hoặc doanh nghiệp vừa công bố kết quả kinh doanh tốt.
Rất nhiều mô hình giao dịch thực chất đang tìm kiếm những điều kiện giúp thay đổi xác suất của một kết quả.
Phần 3. Những khái niệm quan trọng khi xây dựng mô hình và backtest
17. Population – Tổng thể
Population là toàn bộ nhóm mà chúng ta muốn nghiên cứu.
Ví dụ nếu muốn nghiên cứu hành vi của toàn bộ thị trường chứng khoán Việt Nam trong dài hạn thì toàn bộ dữ liệu thị trường chính là population lý tưởng.
Trong thực tế, chúng ta gần như không bao giờ có toàn bộ dữ liệu cần thiết.
18. Sample – Mẫu dữ liệu
Sample là phần dữ liệu thực tế được sử dụng để phân tích.
Ví dụ chúng ta chỉ có dữ liệu của một nhóm cổ phiếu trong 10 năm gần đây. Đây chỉ là một sample của toàn bộ thị trường.
Kết quả nghiên cứu có đáng tin hay không phụ thuộc rất nhiều vào việc sample có đủ lớn và đủ đại diện hay không.
19. Sampling Bias – Sai lệch mẫu
Sampling bias xảy ra khi dữ liệu được lựa chọn theo cách khiến kết quả không phản ánh đúng thực tế.
Một ví dụ quen thuộc là survivorship bias. Nếu backtest chỉ sử dụng các doanh nghiệp hiện vẫn còn niêm yết mà bỏ qua những doanh nghiệp từng phá sản hoặc hủy niêm yết, kết quả có thể tốt hơn thực tế.
Đây là một trong những lỗi phổ biến khi nghiên cứu dữ liệu tài chính.
20. Confidence Interval – Khoảng tin cậy
Các kết quả thống kê thường chỉ là ước lượng.
Thay vì cho rằng một con số duy nhất hoàn toàn chính xác, confidence interval cho phép thể hiện một khoảng mà giá trị thực có khả năng nằm trong đó.
Khái niệm này giúp tránh việc quá tin vào những kết quả có vẻ rất chính xác nhưng thực chất vẫn chứa nhiều bất định.
21. Hypothesis Testing – Kiểm định giả thuyết
Kiểm định giả thuyết được sử dụng để xem một kết quả quan sát được có đủ mạnh để cho rằng nó thực sự tồn tại hay có thể chỉ xuất hiện do ngẫu nhiên.
Ví dụ một nhà nghiên cứu nhận thấy cổ phiếu thường có hiệu suất tốt hơn sau một tín hiệu kỹ thuật nhất định. Kiểm định thống kê sẽ giúp đánh giá liệu hiệu ứng đó có đáng chú ý hay chỉ là sự trùng hợp trong dữ liệu quá khứ.
22. P-value
P-value thường xuất hiện cùng với kiểm định giả thuyết.
Nói đơn giản, nó giúp đánh giá mức độ mạnh của bằng chứng thống kê.
P-value nhỏ có thể cho thấy kết quả đáng chú ý hơn, nhưng không có nghĩa chiến lược chắc chắn có giá trị thực tế. Một hiệu ứng có thể tồn tại về mặt thống kê nhưng lợi nhuận quá nhỏ, sau khi trừ phí giao dịch thì không còn ý nghĩa.
23. Regression – Hồi quy
Regression là một phương pháp dùng để nghiên cứu mối quan hệ giữa một biến và nhiều yếu tố khác.
Ví dụ có thể dùng regression để xem lợi nhuận cổ phiếu có liên quan như thế nào đến momentum, định giá, quy mô doanh nghiệp hoặc biến động.
Regression là một công cụ rất lâu đời nhưng vẫn cực kỳ quan trọng trong tài chính và khoa học dữ liệu vì kết quả tương đối dễ giải thích.
24. Overfitting và việc chia Train – Validation – Test
Overfitting xảy ra khi mô hình được điều chỉnh quá sát với dữ liệu quá khứ.
Một chiến lược có thể được chỉnh rất nhiều tham số cho đến khi backtest trở nên đẹp. Tuy nhiên khi sử dụng với dữ liệu mới, chiến lược lại hoạt động kém vì nó chỉ học những đặc điểm riêng của quá khứ.
Để hạn chế vấn đề này, dữ liệu thường được chia thành ba phần:
Train: dùng để xây dựng mô hình.
Validation: dùng để lựa chọn và điều chỉnh mô hình.
Test: dùng để kiểm tra mô hình trên dữ liệu chưa từng được sử dụng trong quá trình xây dựng.
Trong đầu tư định lượng, nguyên tắc này rất quan trọng. Một chiến lược chỉ thực sự đáng chú ý khi kết quả không chỉ tốt trên dữ liệu đã dùng để thiết kế mà vẫn tương đối ổn định trên dữ liệu mới.
Kết luận
24 khái niệm trên tạo thành một nền tảng khá đầy đủ để bắt đầu hiểu cách thống kê được sử dụng trong khoa học dữ liệu và đầu tư định lượng.
Mean, median và standard deviation giúp mô tả dữ liệu. Probability và distribution giúp hiểu mức độ bất định. Correlation và covariance giúp phân tích mối quan hệ giữa các tài sản. Regression giúp tìm hiểu những yếu tố có liên quan đến kết quả. Hypothesis testing giúp kiểm tra một phát hiện có đáng tin hay không. Overfitting, sampling bias và việc chia dữ liệu thành train-test giúp tránh những kết luận quá đẹp nhưng thiếu thực tế.
Điểm quan trọng nhất không phải là nhớ toàn bộ công thức. Điều cần hiểu là mỗi con số thống kê chỉ đang mô tả một phần của dữ liệu. Khi kết hợp nhiều khái niệm với nhau, chúng ta mới có thể đánh giá dữ liệu đầy đủ hơn và tránh đưa ra kết luận chỉ dựa trên một vài con số đơn lẻ.
Đây cũng chính là nền tảng để tiến sâu hơn vào các chủ đề như backtesting, machine learning, factor investing, quản trị rủi ro và xây dựng chiến lược giao dịch định lượng.