Empirical Risk Minimization (ERM): nền móng của Machine Learning và cái bẫy nguy hiểm nhất

Empirical Risk Minimization (ERM) là gì trong Machine Learning?

Empirical Risk Minimization (ERM) là nguyên lý tối ưu cốt lõi đứng sau hầu hết các thuật toán Machine Learning hiện đại. Trong đa số dự án ML, dù sử dụng linear model hay deep learning, ta đều đang làm một việc tưởng như rất “khoa học”:

Minimize training loss

Hay nói cách khác: tìm mô hình làm sai ít nhất trên dữ liệu đã quan sát được. Đó chính là ERM.

 (Chú thích ảnh: ERM là gì?)

Empirical Risk Minimization (ERM) dưới góc nhìn trực quan

Trong thực tế triển khai Machine Learning, quá trình huấn luyện thường diễn ra như sau:

• Thu thập dữ liệu lịch sử
• Chia train / validation
• Tối ưu loss
• Training loss giảm dần
• Validation score tăng lên

Tất cả các bước này đều xoay quanh một mục tiêu duy nhất: Tối ưu hiệu suất trên dữ liệu quá khứ.

Vấn đề là: Tương lai hiếm khi giống quá khứ.

Ba giả định ngầm nhưng cực mạnh trong Empirical Risk Minimization (ERM)

 (Chú thích ảnh: Ba giả định “ngầm” cực mạnh)

ERM không sai, nhưng nó chỉ hoạt động tốt khi ba giả định sau đồng thời đúng.

1. Dữ liệu train đại diện cho dữ liệu tương lai

ERM giả định rằng tập dữ liệu huấn luyện phản ánh đầy đủ thế giới thật mà mô hình sẽ gặp sau này.
Trong production, điều này thường không đúng do hành vi người dùng, chính sách kinh doanh hoặc hệ thống upstream thay đổi.

2. Phân phối dữ liệu không đổi theo thời gian

ERM ngầm coi dữ liệu là stationary. Trong khi đó, production luôn tồn tại data drift, concept drift hoặc covariate shift.

3. Loss function phản ánh đúng chi phí thực tế

ERM giả định loss function đang dùng phản ánh đúng chi phí của quyết định.
Trên thực tế, loss thường chỉ là một proxy rất thô cho chi phí thật.

Nghịch lý quen thuộc với Empirical Risk Minimization trong Machine Learning

 (Chú thích ảnh: Nghịch lý giữa Train & Deploy)

Khi ít nhất một trong ba giả định trên bị phá vỡ, ta thường thấy kịch bản quen thuộc:

• Training loss giảm
• Validation score tăng
• Model deploy và thất bại

Điều này không xảy ra vì model dở, mà vì:

ERM chỉ tối ưu quá khứ, không tối ưu tương lai.

Vì sao tối ưu Empirical Risk Minimization (giảm loss) không đồng nghĩa giảm rủi ro?

 (Chú thích ảnh: Lời cảnh báo cuối cùng)

Một nhầm lẫn phổ biến trong Machine Learning là đánh đồng giảm loss với giảm rủi ro hệ thống.
Trong thực tế:

• Giảm loss không đồng nghĩa giảm rủi ro
• Fit data không đồng nghĩa fit reality

Loss chỉ đo mức độ khớp với dữ liệu đã thấy.
Rủi ro thực sự nằm ở những tình huống chưa từng xuất hiện trong dữ liệu.

Empirical Risk Minimization (ERM): nền móng của ML nhưng cũng là cái bẫy nguy hiểm nhất

Không thể làm Machine Learning hiện đại mà không có ERM.
Nhưng nếu tin rằng tối ưu loss là đủ, bạn đang tối ưu rất giỏi một thế giới không còn tồn tại.

Kết luận

Empirical Risk Minimization là nền móng của Machine Learning, nhưng hiểu sai ERM là con đường ngắn nhất dẫn đến thất bại trong production.

Machine Learning không phải bài toán fit dữ liệu cho đẹp, mà là bài toán ra quyết định trong một tương lai bất định.

👉 Author: Duong Duy