Xây dựng một dự án Machine Learning hoàn chỉnh từ dữ liệu đến mô hình

Một dự án Machine Learning hoàn chỉnh cần bắt đầu từ việc xác định mục tiêu, thu thập và kiểm tra dữ liệu, xây dựng Features, lựa chọn mô hình, đánh giá khả năng Generalization và chuẩn bị cho việc sử dụng mô hình trên dữ liệu mới.

Điều khó nhất không nhất thiết là viết một thuật toán phức tạp. Thách thức thường nằm ở việc thiết kế đúng quy trình: dữ liệu có phản ánh bài toán không, có xảy ra Data Leakage không, Metric có phù hợp không và kết quả dự đoán có tạo ra giá trị thực tế không?

Bài viết sẽ hệ thống hóa quy trình End-to-End Machine Learning và minh họa bằng một dự án Classification sử dụng Python và scikit-learn, từ dữ liệu đầu vào đến mô hình đã được lưu để sử dụng lại.

1. Một dự án Machine Learning hoàn chỉnh là gì?

End-to-End Machine Learning Project là quá trình giải quyết một bài toán bằng Machine Learning, bao gồm các bước từ xác định yêu cầu đến xây dựng, đánh giá và vận hành mô hình.

Khác với một bài thực hành chỉ tập trung vào thuật toán, dự án hoàn chỉnh phải xem xét cả dữ liệu, mục tiêu sử dụng, quy trình đánh giá và khả năng duy trì kết quả sau khi triển khai.

1.1. Quy trình tổng quát

Xác định bài toán
        |
        v
Thu thập và hiểu dữ liệu
        |
        v
Data Validation và EDA
        |
        v
Thiết kế cách chia dữ liệu
        |
        v
Preprocessing và Feature Engineering
        |
        v
Xây dựng Baseline
        |
        v
Training và Cross-Validation
        |
        v
Hyperparameter Tuning
        |
        v
Final Model Evaluation
        |
        v
Lưu và triển khai mô hình
        |
        v
Monitoring và cải tiến

Trong thực tế, quy trình này có tính lặp. Kết quả đánh giá có thể cho thấy cần quay lại kiểm tra dữ liệu, bổ sung Features hoặc điều chỉnh mục tiêu ban đầu.

1.2. Vì sao không nên bắt đầu ngay bằng thuật toán?

Nếu chưa xác định rõ Target, thời điểm dự đoán và tiêu chí thành công, một mô hình có thể đạt Metric cao nhưng không giải quyết đúng vấn đề.

Ví dụ, một doanh nghiệp muốn dự đoán khách hàng có nguy cơ ngừng sử dụng dịch vụ. Nếu Features chứa thông tin chỉ xuất hiện sau khi khách hàng đã rời bỏ dịch vụ, mô hình có thể hoạt động rất tốt trong thử nghiệm nhưng không thể sử dụng để dự đoán trước sự kiện.

Vì vậy, bước đầu tiên phải là hiểu bài toán và điều kiện sử dụng mô hình.

2. Xác định bài toán và mục tiêu dự án

Trước khi xử lý dữ liệu, cần chuyển yêu cầu thực tế thành một bài toán Machine Learning có thể đo lường.

2.1. Xác định Input, Output và Prediction Time

Ba câu hỏi quan trọng gồm:

• Input: Mô hình được phép sử dụng những thông tin nào?
• Output: Mô hình cần dự đoán giá trị hoặc nhãn nào?
• Prediction Time: Dự đoán được thực hiện tại thời điểm nào và những thông tin nào thực sự có sẵn lúc đó?

Prediction Time đặc biệt quan trọng vì giúp xác định Features hợp lệ và hạn chế sử dụng thông tin tương lai.

2.2. Chọn loại bài toán Machine Learning

2.3. Xác định tiêu chí thành công

Metric cần phản ánh mục tiêu thực tế. Với Classification, có thể quan tâm đến Precision, Recall, F1-score hoặc ROC-AUC. Với Regression, có thể sử dụng MAE, RMSE hoặc R².

Ngoài Model Metrics, một dự án thực tế còn có thể cần các tiêu chí như thời gian dự đoán, chi phí vận hành, khả năng giải thích và mức độ phù hợp với quy trình nghiệp vụ.

3. Thu thập dữ liệu và thiết kế Dataset

Dữ liệu là nền tảng của một dự án Machine Learning. Chất lượng mô hình phụ thuộc không chỉ vào thuật toán mà còn vào mức độ đầy đủ, chính xác và đại diện của Dataset.

3.1. Các nguồn dữ liệu phổ biến

• Cơ sở dữ liệu giao dịch và hệ thống quản lý nội bộ.
• CSV, Excel hoặc dữ liệu được xuất từ phần mềm.
• API từ các hệ thống được phép truy cập.
• Log ứng dụng, thiết bị hoặc hệ thống vận hành.
• Public Datasets dùng cho học tập và nghiên cứu.

3.2. Xác định đơn vị quan sát

Mỗi dòng dữ liệu phải đại diện cho một đơn vị quan sát được định nghĩa rõ ràng, chẳng hạn một khách hàng, một giao dịch hoặc một phiên sử dụng.

Nếu một khách hàng xuất hiện nhiều lần, cần xem xét liệu các quan sát đó có thể được chia ngẫu nhiên giữa Training và Test hay không. Trong một số bài toán, Group-Based Split sẽ phù hợp hơn.

3.3. Kiểm tra tính đại diện

Dataset nên phản ánh tương đối tốt các trường hợp mô hình sẽ gặp khi sử dụng thực tế.

Nếu dữ liệu huấn luyện chỉ đến từ một nhóm khách hàng hoặc một khoảng thời gian đặc biệt, kết quả đánh giá có thể không đại diện cho môi trường triển khai.

4. Exploratory Data Analysis: Hiểu dữ liệu trước khi huấn luyện

Exploratory Data Analysis (EDA) là quá trình khám phá cấu trúc, phân phối và chất lượng dữ liệu thông qua thống kê mô tả và trực quan hóa.

Mục tiêu của EDA không phải chỉ tạo biểu đồ đẹp, mà là tìm ra những vấn đề có thể ảnh hưởng đến cách xây dựng và đánh giá mô hình.

4.1. Những nội dung cần kiểm tra

• Số lượng quan sát và Features.
• Kiểu dữ liệu của từng cột.
• Missing Values và dữ liệu không hợp lệ.
• Phân phối các biến số.
• Outliers và những giá trị bất thường.
• Tỷ lệ các lớp trong Classification.
• Những Features trùng lặp hoặc có quan hệ mạnh.

4.2. EDA và Data Leakage

Có thể kiểm tra cấu trúc tổng quát của Dataset để thiết kế cách chia dữ liệu, nhưng cần tránh sử dụng thông tin từ Test Set để đưa ra các quyết định tối ưu mô hình.

Những phép biến đổi cần học tham số từ dữ liệu, như Imputation, Standardization, PCA hoặc Feature Selection, phải được fit trên Training Data trong quy trình đánh giá.

Điều này giúp Test Set giữ vai trò là nguồn đánh giá độc lập.

5. Chia dữ liệu thành Training, Validation và Test

Một dự án Machine Learning cần đánh giá khả năng Generalization trên dữ liệu chưa được dùng để fit hoặc lựa chọn mô hình.

5.1. Vai trò của từng tập dữ liệu

5.2. Có bắt buộc phải tạo ba tập riêng biệt?

Không nhất thiết. Với những Dataset vừa hoặc nhỏ, có thể chia thành Training và Test, sau đó sử dụng Cross-Validation trên Training Set để lựa chọn mô hình.

Điều quan trọng là Test Set không tham gia vào việc lựa chọn Hyperparameters hoặc tối ưu quy trình.

5.3. Khi nào không nên chia ngẫu nhiên?

Random Split có thể không phù hợp với dữ liệu chuỗi thời gian hoặc dữ liệu có nhiều quan sát liên quan đến cùng một thực thể.

Trong các trường hợp đó, Time-Based Split hoặc Group-Based Split có thể phản ánh điều kiện sử dụng thực tế tốt hơn.

6. Data Preprocessing và Feature Engineering

Data Preprocessing giúp đưa dữ liệu về dạng có thể sử dụng cho mô hình. Feature Engineering tập trung vào việc tạo ra hoặc biến đổi Features để mô hình khai thác thông tin hữu ích hơn.

6.1. Xử lý Missing Values

Với dữ liệu số, có thể sử dụng Mean hoặc Median Imputation. Với dữ liệu phân loại, có thể sử dụng Most Frequent Value hoặc một nhãn đại diện cho giá trị thiếu.

Không có phương pháp Imputation tối ưu cho mọi Dataset. Cần xem xét ý nghĩa của giá trị thiếu và đặc điểm phân phối dữ liệu.

6.2. Encoding Categorical Features

Nhiều thuật toán trong scikit-learn yêu cầu đầu vào dạng số. Với Categorical Features không có thứ tự tự nhiên, One-Hot Encoding là một lựa chọn phổ biến.

Ví dụ:

Payment Method:
- Cash
- Card
- Transfer

One-Hot Encoding:
Cash    Card    Transfer
1       0       0
0       1       0
0       0       1

6.3. Feature Scaling

StandardScaler biến đổi Features dựa trên Mean và Standard Deviation học được từ dữ liệu fit.

Scaling thường quan trọng với những thuật toán nhạy với khoảng cách hoặc độ lớn Features, như KNN, SVM và nhiều mô hình tối ưu dựa trên hệ số.

Ngược lại, Decision Tree và Random Forest thường không yêu cầu Standardization theo cách tương tự.

6.4. Vì sao nên sử dụng Pipeline?

Pipeline kết hợp các bước tiền xử lý và mô hình thành một quy trình thống nhất. Khi dùng cùng Cross-Validation, những phép biến đổi cần học từ dữ liệu được fit lại trong từng Fold.

Đây là một trong những biện pháp quan trọng để hạn chế Data Leakage.

7. Xây dựng Baseline trước khi thử mô hình phức tạp

Baseline Model là mô hình hoặc chiến lược dự đoán đơn giản được dùng làm điểm tham chiếu.

Trong Classification, có thể sử dụng DummyClassifier. Trong Regression, có thể dùng DummyRegressor để dự đoán một thống kê đơn giản của Target.

7.1. Vì sao Baseline quan trọng?

Giả sử một mô hình Classification đạt Accuracy cao nhưng chỉ tương đương với chiến lược luôn dự đoán lớp phổ biến nhất. Khi đó, mô hình có thể chưa tạo ra cải thiện đáng kể.

Baseline giúp xác định liệu thuật toán đang thực sự học được thông tin có giá trị hay không.

7.2. Baseline không nhất thiết chỉ là Dummy Model

Trong một số dự án, Baseline có thể là quy tắc nghiệp vụ hiện tại, mô hình đang được sử dụng hoặc một thuật toán đơn giản như Logistic Regression.

Điểm quan trọng là Baseline phải được đánh giá theo cùng tiêu chí và điều kiện phù hợp để có thể so sánh công bằng.

8. Lựa chọn thuật toán và xây dựng Training Pipeline

Việc lựa chọn thuật toán nên dựa trên loại bài toán, kích thước Dataset, đặc điểm Features, yêu cầu giải thích và chi phí tính toán.

Không nên mặc định thuật toán phức tạp nhất sẽ cho kết quả tốt nhất. Một mô hình đơn giản, ổn định và dễ duy trì có thể phù hợp hơn trong nhiều tình huống.

9. Thực hành: Xây dựng dự án Machine Learning bằng Python

Để minh họa một quy trình hoàn chỉnh có thể chạy lại, chúng ta sử dụng bộ dữ liệu Titanic được cung cấp qua OpenML và xây dựng mô hình dự đoán khả năng sống sót của hành khách.

Ví dụ này sử dụng dữ liệu lịch sử nhằm mục đích học tập. Kết quả không đại diện cho một hệ thống dự đoán vận hành thực tế.

Chúng ta chỉ sử dụng một nhóm Features cơ bản có ý nghĩa tương đối rõ ràng và tránh các biến có thể tiết lộ trực tiếp kết quả sau sự kiện.

9.1. Cài đặt thư viện

pip install pandas numpy scikit-learn joblib

9.2. Tải dữ liệu và xác định Features

import pandas as pd

from sklearn.datasets import fetch_openml

# Tải Titanic Dataset từ OpenML
titanic = fetch_openml(
    "titanic",
    version=1,
    as_frame=True
)

df = titanic.frame.copy()

# Chỉ chọn các Features sử dụng
feature_columns = [
    "pclass",
    "sex",
    "age",
    "sibsp",
    "parch",
    "fare",
    "embarked"
]

target_column = "survived"

X = df[feature_columns].copy()
y = df[target_column].astype(int)

print("Dataset shape:", X.shape)
print(X.head())
print(y.value_counts())

Trong ví dụ này, survived là Target, còn những cột như age, sex, fare và pclass là Features.

Chúng ta xem pclass là Categorical Feature vì nó biểu diễn hạng vé thay vì một đại lượng liên tục có ý nghĩa khoảng cách số học thông thường.

9.3. Chia Training và Test Data

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.2,
    random_state=42,
    stratify=y
)

print("Training samples:", len(X_train))
print("Test samples:", len(X_test))

Tham số stratify=y giúp duy trì tỷ lệ các lớp tương đối giống nhau giữa Training và Test.

Test Set sẽ được giữ riêng trong quá trình lựa chọn mô hình.

9.4. Xây dựng Preprocessing Pipeline

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import (
    OneHotEncoder,
    StandardScaler
)

numeric_features = [
    "age",
    "sibsp",
    "parch",
    "fare"
]

categorical_features = [
    "pclass",
    "sex",
    "embarked"
]

numeric_transformer = Pipeline([
    (
        "imputer",
        SimpleImputer(strategy="median")
    ),
    (
        "scaler",
        StandardScaler()
    )
])

categorical_transformer = Pipeline([
    (
        "imputer",
        SimpleImputer(strategy="most_frequent")
    ),
    (
        "encoder",
        OneHotEncoder(
            handle_unknown="ignore"
        )
    )
])

preprocessor = ColumnTransformer([
    (
        "num",
        numeric_transformer,
        numeric_features
    ),
    (
        "cat",
        categorical_transformer,
        categorical_features
    )
])

Numeric Features được xử lý Missing Values bằng Median rồi Standardization. Categorical Features được xử lý Missing Values bằng giá trị phổ biến nhất và chuyển thành dạng số bằng One-Hot Encoding.

Các bước này chưa được fit ở thời điểm khai báo. Chúng sẽ được fit khi Pipeline được huấn luyện, giúp hạn chế sử dụng thông tin từ Test Set.

9.5. Huấn luyện Baseline và Logistic Regression

from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_validate

baseline = DummyClassifier(
    strategy="most_frequent"
)

model = Pipeline([
    (
        "preprocessor",
        preprocessor
    ),
    (
        "classifier",
        LogisticRegression(
            max_iter=1000,
            random_state=42
        )
    )
])

scoring = {
    "accuracy": "accuracy",
    "f1": "f1",
    "roc_auc": "roc_auc"
}

baseline_scores = cross_validate(
    baseline,
    X_train,
    y_train,
    cv=5,
    scoring=scoring
)

model_scores = cross_validate(
    model,
    X_train,
    y_train,
    cv=5,
    scoring=scoring
)

for metric in scoring:
    key = f"test_{metric}"

    print(
        metric,
        "Baseline:",
        baseline_scores[key].mean(),
        "Logistic Regression:",
        model_scores[key].mean()
    )

Baseline và Logistic Regression được đánh giá bằng cùng bộ Metrics và cùng cấu hình Cross-Validation.

Trong ví dụ này, ROC-AUC của DummyClassifier với chiến lược dự đoán lớp phổ biến nhất không phản ánh một khả năng phân biệt hữu ích giữa hai lớp, nhưng vẫn cung cấp điểm tham chiếu.

10. Hyperparameter Tuning và Model Selection

Sau khi xây dựng Baseline, chúng ta có thể sử dụng Cross-Validation để lựa chọn Hyperparameters phù hợp.

Với Logistic Regression, tham số C kiểm soát cường độ Regularization theo quy ước nghịch đảo: C nhỏ hơn tương ứng với Regularization mạnh hơn.

10.1. Tuning bằng GridSearchCV

from sklearn.model_selection import (
    GridSearchCV,
    StratifiedKFold
)

cv = StratifiedKFold(
    n_splits=5,
    shuffle=True,
    random_state=42
)

param_grid = {
    "classifier__C": [
        0.01,
        0.1,
        1.0,
        10.0
    ]
}

grid_search = GridSearchCV(
    estimator=model,
    param_grid=param_grid,
    scoring="roc_auc",
    cv=cv,
    n_jobs=-1,
    refit=True
)

grid_search.fit(X_train, y_train)

print(
    "Best Parameters:",
    grid_search.best_params_
)

print(
    "Best CV ROC-AUC:",
    grid_search.best_score_
)

best_model = grid_search.best_estimator_

10.2. Vì sao sử dụng ROC-AUC?

ROC-AUC đánh giá khả năng xếp hạng giữa hai lớp dựa trên Score dự đoán, không phụ thuộc vào một Decision Threshold cố định.

Đây là một lựa chọn minh họa, không phải Metric tối ưu cho mọi bài toán. Nếu mục tiêu là giảm số trường hợp Positive bị bỏ sót hoặc kiểm soát cảnh báo sai, cần xem xét Recall, Precision, F1-score hoặc những Metric gắn trực tiếp với chi phí thực tế.

Hyperparameters được lựa chọn hoàn toàn từ Training Data thông qua Cross-Validation. Test Set chưa được sử dụng trong quá trình này.

11. Đánh giá mô hình cuối cùng trên Test Set

Sau khi lựa chọn Hyperparameters, chúng ta đánh giá mô hình trên Test Set để ước lượng khả năng Generalization.

from sklearn.metrics import (
    accuracy_score,
    precision_score,
    recall_score,
    f1_score,
    roc_auc_score,
    confusion_matrix,
    classification_report
)

y_pred = best_model.predict(X_test)

y_score = best_model.predict_proba(
    X_test
)[:, 1]

print(
    "Accuracy:",
    accuracy_score(y_test, y_pred)
)

print(
    "Precision:",
    precision_score(
        y_test,
        y_pred,
        zero_division=0
    )
)

print(
    "Recall:",
    recall_score(
        y_test,
        y_pred,
        zero_division=0
    )
)

print(
    "F1-score:",
    f1_score(
        y_test,
        y_pred,
        zero_division=0
    )
)

print(
    "ROC-AUC:",
    roc_auc_score(y_test, y_score)
)

print(
    "Confusion Matrix:"
)

print(
    confusion_matrix(y_test, y_pred)
)

print(
    classification_report(
        y_test,
        y_pred,
        zero_division=0
    )
)

11.1. Cách đọc kết quả

Accuracy cho biết tỷ lệ dự đoán đúng tổng thể. Precision và Recall giúp hiểu rõ hơn chất lượng dự đoán Positive, trong khi F1-score kết hợp hai khía cạnh này.

ROC-AUC đánh giá khả năng phân biệt thứ hạng giữa hai lớp.

Confusion Matrix giúp xác định số lượng False Positive và False Negative, từ đó liên hệ kết quả kỹ thuật với chi phí sai lầm trong thực tế.

11.2. Không chọn lại mô hình dựa trên Test Score

Nếu kết quả Test không đạt yêu cầu, cần xem xét lại giả định, chất lượng dữ liệu hoặc thiết kế mô hình. Tuy nhiên, việc liên tục thử nghiệm rồi lựa chọn cấu hình theo Test Score sẽ khiến Test Set dần mất tính độc lập.

Khi quy trình được thay đổi đáng kể sau khi xem kết quả Test, có thể cần một bộ dữ liệu đánh giá mới để có ước lượng cuối cùng đáng tin cậy.

12. Lưu mô hình và dự đoán trên dữ liệu mới

Sau khi huấn luyện, mô hình cần được lưu cùng các bước tiền xử lý để có thể sử dụng lại một cách nhất quán.

Vì chúng ta đã sử dụng Pipeline, đối tượng best_model chứa cả Preprocessing và Logistic Regression.

12.1. Lưu mô hình bằng joblib

import joblib

joblib.dump(
    best_model,
    "titanic_model.joblib"
)

print("Model saved.")

12.2. Tải lại mô hình

import joblib

loaded_model = joblib.load(
    "titanic_model.joblib"
)

Lưu ý bảo mật: Các định dạng lưu mô hình dựa trên Pickle, bao gồm joblib, có thể thực thi mã khi tải. Chỉ tải những tệp mô hình từ nguồn đáng tin cậy và quản lý phiên bản thư viện phù hợp với môi trường đã huấn luyện.

12.3. Dự đoán cho một quan sát mới

import pandas as pd

new_passenger = pd.DataFrame([{
    "pclass": 2,
    "sex": "female",
    "age": 28,
    "sibsp": 0,
    "parch": 0,
    "fare": 20.0,
    "embarked": "S"
}])

prediction = loaded_model.predict(
    new_passenger
)

probability = loaded_model.predict_proba(
    new_passenger
)[:, 1]

print(
    "Predicted class:",
    prediction[0]
)

print(
    "Estimated probability:",
    probability[0]
)

Những giá trị của hành khách mới chỉ là dữ liệu giả định để minh họa thao tác dự đoán.

Vì mô hình được lưu dưới dạng Pipeline, các bước Imputation, Scaling và Encoding được áp dụng nhất quán với quá trình huấn luyện.

13. Tổ chức cấu trúc thư mục dự án Machine Learning

Khi dự án phát triển, việc đặt toàn bộ mã trong một Notebook có thể gây khó khăn cho kiểm thử, tái sử dụng và bảo trì.

Một cấu trúc thư mục đơn giản có thể được tổ chức như sau:

machine-learning-project/
|
+-- data/
|   +-- raw/
|   +-- processed/
|
+-- notebooks/
|   +-- 01_eda.ipynb
|
+-- src/
|   +-- preprocessing.py
|   +-- train.py
|   +-- evaluate.py
|   +-- predict.py
|
+-- models/
|   +-- titanic_model.joblib
|
+-- reports/
|   +-- metrics.json
|
+-- requirements.txt
+-- README.md
+-- .gitignore

13.1. Vai trò của từng thành phần

• data/: Lưu dữ liệu đầu vào và dữ liệu đã xử lý theo chính sách quản lý dữ liệu phù hợp.
• notebooks/: Phục vụ EDA và thử nghiệm.
• src/: Chứa mã nguồn có thể tái sử dụng.
• models/: Lưu các Model Artifacts.
• reports/: Lưu kết quả đánh giá và báo cáo.
• requirements.txt: Ghi nhận các thư viện phụ thuộc.
• README.md: Hướng dẫn mục tiêu dự án và cách chạy.

Không nên đưa dữ liệu nhạy cảm, thông tin đăng nhập hoặc những Model Artifacts không phù hợp lên kho mã nguồn công khai.

14. Model Deployment: Đưa mô hình vào sử dụng

Model Deployment là quá trình tích hợp mô hình đã được huấn luyện vào một môi trường có thể tiếp nhận dữ liệu mới và tạo dự đoán.

Việc lưu mô hình thành tệp là một bước chuẩn bị, chưa đồng nghĩa với triển khai một hệ thống Production hoàn chỉnh.

14.1. Batch Prediction

Với Batch Prediction, hệ thống thực hiện dự đoán cho nhiều quan sát theo lịch hoặc theo một đợt xử lý.

Ví dụ, doanh nghiệp có thể tạo dự đoán cho danh sách khách hàng theo chu kỳ định kỳ.

14.2. Real-Time Prediction

Với Real-Time Prediction, hệ thống tiếp nhận dữ liệu và trả kết quả khi có yêu cầu, thường thông qua API hoặc một dịch vụ ứng dụng.

Phương án này cần xem xét thêm độ trễ, khả năng mở rộng, kiểm soát truy cập và xử lý lỗi.

14.3. Các thành phần ngoài mô hình

Một hệ thống Production thường cần:

• Input Validation và kiểm tra Schema.
• Quản lý phiên bản mô hình và dữ liệu.
• Logging và theo dõi lỗi.
• Kiểm soát quyền truy cập.
• Kiểm thử trước khi phát hành.
• Cơ chế Rollback khi phiên bản mới gặp sự cố.

15. Model Monitoring: Vì sao triển khai chưa phải điểm kết thúc?

Hiệu quả mô hình có thể thay đổi sau khi triển khai vì dữ liệu thực tế không đứng yên.

15.1. Data Drift

Data Drift thường chỉ sự thay đổi trong phân phối dữ liệu đầu vào theo thời gian.

Ví dụ, đặc điểm hành vi khách hàng có thể thay đổi sau khi doanh nghiệp triển khai một chính sách mới.

15.2. Concept Drift

Concept Drift xảy ra khi quan hệ giữa Features và Target thay đổi theo thời gian.

Khi đó, ngay cả khi dữ liệu đầu vào trông tương đối giống trước đây, quy luật dự đoán cũ vẫn có thể không còn phù hợp.

15.3. Những nội dung cần giám sát

• Phân phối các Features quan trọng.
• Tỷ lệ Missing Values và lỗi dữ liệu.
• Phân phối Score hoặc nhãn dự đoán.
• Model Metrics khi có Ground Truth đáng tin cậy.
• Thời gian phản hồi và tỷ lệ lỗi hệ thống.

Không phải mọi thay đổi phân phối đều làm mô hình suy giảm, và không phải mọi suy giảm hiệu quả đều có thể phát hiện chỉ bằng Data Drift. Monitoring cần kết hợp kiểm tra dữ liệu, kết quả dự đoán và phản hồi thực tế.

16. Reproducibility và MLOps trong dự án Machine Learning

Reproducibility là khả năng tái tạo quy trình và kết quả trong những điều kiện đã được xác định.

MLOps là tập hợp các thực hành giúp phát triển, triển khai, theo dõi và duy trì hệ thống Machine Learning một cách có tổ chức.

16.1. Những yếu tố cần ghi nhận

• Phiên bản Dataset hoặc cách truy xuất dữ liệu.
• Phiên bản mã nguồn.
• Phiên bản thư viện và môi trường chạy.
• Random Seed khi phù hợp.
• Hyperparameters và Model Configuration.
• Metric, cách chia dữ liệu và kết quả đánh giá.

16.2. Random Seed có bảo đảm kết quả giống hệt?

Không hoàn toàn. Random Seed giúp kiểm soát nhiều nguồn ngẫu nhiên, nhưng kết quả vẫn có thể phụ thuộc vào phiên bản thư viện, phần cứng, thuật toán song song hoặc những thao tác không mang tính Deterministic.

Vì vậy, Reproducibility cần được hỗ trợ bằng quản lý môi trường và ghi nhận đầy đủ quy trình, không chỉ thiết lập random_state=42.

17. Những sai lầm phổ biến khi xây dựng dự án Machine Learning

17.1. Bắt đầu bằng thuật toán thay vì mục tiêu

Chọn Random Forest, SVM hoặc Neural Network trước khi hiểu bài toán có thể dẫn đến một hệ thống phức tạp nhưng không đáp ứng nhu cầu sử dụng.

17.2. Chỉ tập trung vào Accuracy

Accuracy không đủ cho mọi bài toán Classification. Cần xem xét Confusion Matrix, Precision, Recall và các Metric khác theo chi phí sai lầm.

17.3. Xử lý dữ liệu trước khi chia Train/Test

Fit StandardScaler, PCA hoặc Imputer trên toàn bộ Dataset có thể làm rò rỉ thông tin từ Test Set.

17.4. Tuning trực tiếp trên Test Set

Điều này làm cho kết quả Test không còn là đánh giá độc lập của quy trình lựa chọn mô hình.

17.5. Không xây dựng Baseline

Nếu không có Baseline, rất khó xác định một mô hình phức tạp có thực sự tạo ra cải thiện đáng kể hay không.

17.6. Không kiểm tra khả năng sử dụng Features trong thực tế

Một Feature có thể có giá trị dự đoán rất cao trong dữ liệu lịch sử nhưng không sẵn có tại thời điểm cần dự đoán.

Đây là lý do Prediction Time và Data Availability phải được xác định ngay từ đầu.

17.7. Cho rằng lưu mô hình đồng nghĩa với hoàn thành dự án

Model Artifact chỉ là một phần của hệ thống. Triển khai thực tế còn cần Input Validation, Monitoring, bảo mật, quản lý phiên bản và quy trình xử lý sự cố.

18. Checklist hoàn thiện một dự án Machine Learning

Trước khi kết thúc giai đoạn phát triển, có thể sử dụng danh sách sau để rà soát dự án:

1. Đã xác định rõ mục tiêu, Target và Prediction Time.
2. Đã kiểm tra nguồn gốc, chất lượng và tính đại diện của dữ liệu.
3. Đã thiết kế cách chia dữ liệu phù hợp.
4. Đã xây dựng Preprocessing Pipeline tránh Data Leakage.
5. Đã tạo Baseline để so sánh.
6. Đã lựa chọn Metric phù hợp với bài toán.
7. Đã thực hiện Model Selection và Hyperparameter Tuning trên Training Data.
8. Đã đánh giá cuối cùng trên Test Set độc lập.
9. Đã lưu mô hình cùng các bước tiền xử lý cần thiết.
10. Đã ghi nhận phiên bản dữ liệu, mã nguồn và thư viện.
11. Đã xác định yêu cầu triển khai, Monitoring và bảo trì.

Checklist này không thay thế các yêu cầu chuyên biệt của từng lĩnh vực. Với những hệ thống có tác động lớn, có thể cần thêm đánh giá về bảo mật, quyền riêng tư, tính công bằng và rủi ro vận hành.

19. Kết luận

Một dự án Machine Learning hoàn chỉnh không chỉ gồm Dataset và một thuật toán dự đoán. Đó là quy trình kết nối mục tiêu thực tế, dữ liệu, Feature Engineering, Model Training, Model Evaluation và khả năng vận hành lâu dài.

Những nguyên tắc quan trọng nhất gồm xác định đúng bài toán, tránh Data Leakage, xây dựng Baseline, sử dụng Cross-Validation hợp lý và giữ Test Set độc lập cho bước đánh giá cuối cùng.

Trong ví dụ thực hành, chúng ta đã xây dựng một Classification Pipeline với Imputation, One-Hot Encoding, Standardization và Logistic Regression, sau đó lựa chọn Hyperparameters, đánh giá mô hình và lưu toàn bộ Pipeline để dự đoán trên dữ liệu mới.

Đây là nền tảng để tiếp tục học những chủ đề nâng cao như Model Deployment, MLOps, Model Monitoring và xây dựng hệ thống Machine Learning trong môi trường Production.

20. Tài liệu tham khảo

1. scikit-learn. Common Pitfalls and Recommended Practices. Tài liệu về Data Leakage và thực hành xây dựng mô hình đúng cách. https://scikit-learn.org/stable/common_pitfalls.html
2. scikit-learn. Pipeline. Tài liệu chính thức về xây dựng Pipeline trong Machine Learning. https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html
3. scikit-learn. ColumnTransformer. Tài liệu về xử lý nhiều nhóm Features với các phép biến đổi khác nhau. https://scikit-learn.org/stable/modules/generated/sklearn.compose.ColumnTransformer.html
4. scikit-learn. Cross-validation: Evaluating Estimator Performance. Tài liệu về Cross-Validation và chiến lược đánh giá. https://scikit-learn.org/stable/modules/cross_validation.html
5. scikit-learn. Tuning the Hyper-parameters of an Estimator. Tài liệu về Grid Search và các phương pháp Hyperparameter Tuning. https://scikit-learn.org/stable/modules/grid_search.html
6. scikit-learn. Metrics and Scoring: Quantifying the Quality of Predictions. Tài liệu về các chỉ số đánh giá mô hình. https://scikit-learn.org/stable/modules/model_evaluation.html
7. scikit-learn. Model Persistence. Tài liệu về lưu, tải và quản lý Model Artifacts. https://scikit-learn.org/stable/model_persistence.html
8. OpenML. Titanic Dataset. Nguồn dữ liệu được sử dụng trong ví dụ thực hành. https://www.openml.org/d/40945
9. Google Developers. Machine Learning Crash Course. Tài liệu nền tảng về quy trình xây dựng và đánh giá Machine Learning. https://developers.google.com/machine-learning/crash-course

21. Học thêm Data, AI và Machine Learning tại MCNA

Nếu bạn muốn củng cố nền tảng Python, Data Analysis và ứng dụng AI vào các bài toán thực tế, có thể tham khảo các chương trình học tại MCNA Technology School:

• Combo 5 khóa AI & Power BI: Tìm hiểu chương trình Combo 5 khóa AI & Power BI
• Combo Python: Tìm hiểu chương trình Combo Python