Hướng Dẫn Làm Sạch Và Chuẩn Hóa Dữ Liệu Bảng Với Thư Viện Pandas Trong Python

Trong phân tích dữ liệu, có một nguyên lý bất biến: “Garbage in, garbage out”. Nếu dữ liệu đầu vào là rác, kết quả phân tích hay báo cáo quản trị sẽ hoàn toàn mất giá trị. Thực tế tại các doanh nghiệp cho thấy Data Analyst thường phải dành từ 60% đến 80% thời gian của một dự án chỉ để kiểm tra, làm sạch và chuẩn hóa dữ liệu. Các bảng dữ liệu trích xuất từ CRM, POS hay Excel luôn tiềm ẩn nhiều vấn đề. Dữ liệu thường có giá trị khuyết thiếu (NaN) hoặc giao dịch bị trùng lặp. Tên khách hàng hay bị thừa khoảng trắng. Ngoài ra, cột ngày tháng và doanh thu thường bị lưu sai định dạng chuỗi (object).

Bài viết này cung cấp quy trình thực chiến toàn diện với thư viện Pandas trong Python. Bạn sẽ nắm vững 5 bước kiểm tra chất lượng dữ liệu đầu vào (Data Profiling). Đồng thời, bài viết hướng dẫn sử dụng chuẩn xác các hàm fillna(), dropna(), drop_duplicates(), astype() và chuỗi văn bản. Cuối cùng là cách đóng gói Data Pipeline làm sạch dữ liệu khách hàng và đơn hàng.

Khi mới học lập trình phân tích, chúng ta thường làm việc với những tập dữ liệu mẫu trên Kaggle đã được chuẩn hóa gọn gàng. Trong môi trường doanh nghiệp thực tế, dữ liệu đến từ nhiều điểm chạm khác nhau. Đó có thể là biểu mẫu website, phần mềm POS tại cửa hàng hoặc file Excel nhập tay. Ngoài ra còn có log giao dịch từ cổng thanh toán.

Bốn nhóm lỗi dữ liệu phổ biến nhất mà mọi Data Analyst đều phải xử lý hàng ngày:

• Giá trị khuyết thiếu (Missing Values – NaN / None): Khách hàng có thể bỏ trống số điện thoại hoặc tuổi. Ngoài ra, lỗi kết nối API cũng làm mất thông tin doanh thu của một số giao dịch.
• Bản ghi trùng lặp (Duplicate Records): Khách hàng có thể bấm nút thanh toán hai lần khi mạng chậm. Hoặc tiến trình đồng bộ dữ liệu (ETL) chạy lặp làm nhân đôi đơn hàng.
• Chuỗi văn bản không đồng nhất (Inconsistent Strings): Dính khoảng trắng thừa ở hai đầu, viết hoa viết thường lộn xộn ("completed", "COMPLETED", "Completed") hoặc chứa ký tự đặc biệt.
• Sai lệch kiểu dữ liệu (Incorrect Data Types): Cột ngày đặt hàng hoặc doanh thu thường bị hiểu nhầm là kiểu chuỗi (object). Nguyên nhân do lẫn ký tự tiền tệ $, dấu phẩy hoặc dòng chữ ghi chú.

Trước khi viết bất kỳ dòng lệnh chỉnh sửa nào, nguyên tắc bắt buộc là phải chẩn đoán hiện trạng của DataFrame (Data Quality Assessment). Dưới đây là tổ hợp 5 bước kiểm tra tiêu chuẩn trong Pandas:

import pandas as pd

# Đọc dữ liệu nguồn vào DataFrame
df = pd.read_csv("customer_orders_raw.csv")

# BƯỚC 1: Kiểm tra kích thước (dòng, cột) và cấu trúc tổng thể
print(f"Kích thước bảng: {df.shape[0]} dòng x {df.shape[1]} cột")
df.info()

# BƯỚC 2: Đo lường số lượng và tỷ lệ % giá trị khuyết thiếu (Missing Values)
missing_report = pd.DataFrame({
    'missing_count': df.isna().sum(),
    'missing_pct': (df.isna().sum() / len(df) * 100).round(2)
})
print(missing_report[missing_report['missing_count'] > 0])

# BƯỚC 3: Đếm số dòng trùng lặp hoàn toàn và trùng theo khóa chính (order_id)
print("Dòng trùng hoàn toàn:", df.duplicated().sum())
print("Trùng mã đơn hàng:", df.duplicated(subset=['order_id']).sum())

# BƯỚC 4: Kiểm tra kiểu dữ liệu từng cột
print(df.dtypes)

# BƯỚC 5: Thống kê mô tả phát hiện giá trị ngoại lai (Outliers) và bất thường
print(df.describe(include='all'))

Khi phát hiện ô trống (NaN), bạn đứng trước hai lựa chọn: xóa bỏ bản ghi đó bằng dropna() hoặc điền giá trị thay thế bằng fillna(). Quyết định đúng đắn phải dựa trên ý nghĩa nghiệp vụ của từng cột dữ liệu:

Hàm drop_duplicates() cho phép khử các dòng bị lặp dựa trên toàn bộ cột hoặc một nhóm cột khóa chính thông qua tham số subset và keep:

# Xóa các dòng giống hệt nhau trên toàn bộ tất cả các cột
df = df.drop_duplicates()

# Giữ lại bản ghi cập nhật mới nhất (keep='last') cho mỗi mã đơn hàng order_id
df = df.sort_values('updated_at').drop_duplicates(
    subset=['order_id'],
    keep='last'
)

Thuộc tính accessor .str trong Pandas giúp bạn thực hiện các thao tác xử lý chuỗi đồng loạt (vectorized string operations) trên toàn bộ cột mà không cần dùng vòng lặp for chậm chạp:

# 1. Cắt bỏ khoảng trắng thừa 2 đầu và chuẩn hóa viết hoa chữ cái đầu (Title Case)
df['customer_name'] = df['customer_name'].str.strip().str.title()

# 2. Đưa trạng thái đơn hàng về chữ thường đồng nhất
df['status'] = df['status'].str.strip().str.lower()

# 3. Loại bỏ ký tự tiền tệ '$' và dấu phẩy ',' trong cột doanh thu bằng Regex
df['raw_amount'] = df['raw_amount'].str.replace(r'[\$,]', '', regex=True)

Sau khi đã làm sạch các ký tự rác, bước tiếp theo là chuyển đổi cột về đúng kiểu dữ liệu nguyên bản để phục vụ tính toán số học và phân tích chuỗi thời gian:

# Ép kiểu sang số thực float64 và số nguyên int32
df['amount'] = df['raw_amount'].astype('float64')
df['quantity'] = df['quantity'].astype('int32')

# Chuyển đổi ngày tháng an toàn (các chuỗi lỗi sẽ tự động chuyển thành NaT)
df['order_date'] = pd.to_datetime(df['order_date'], errors='coerce', format='mixed')

Giả sử phòng Kinh doanh gửi cho bạn một tập dữ liệu xuất từ hệ thống quản lý đơn hàng gồm 6 bản ghi mẫu nhưng chứa đầy đủ các lỗi điển hình. Yêu cầu đặt ra là làm sạch hoàn toàn bảng dữ liệu này trước khi đưa vào báo cáo tổng hợp doanh thu tháng.

Bảng dữ liệu thô trước khi làm sạch (raw_orders):

Dưới đây là mã nguồn Python hoàn chỉnh kết hợp tất cả các phương thức đã học để xử lý triệt để bảng dữ liệu trên:

import pandas as pd
import numpy as np

def clean_customer_orders(raw_df: pd.DataFrame) -> pd.DataFrame:
    # Tạo bản sao độc lập tránh SettingWithCopyWarning
    df = raw_df.copy()

    # BƯỚC 1: Xóa NaN order_id và khử trùng lặp
    df = df.dropna(subset=['order_id']).drop_duplicates(subset=['order_id'], keep='first')

    # BƯỚC 2: Điền tên mặc định, strip và title
    df['customer_name'] = (
        df['customer_name']
        .fillna('Khách Hàng Vãng Lai')
        .astype(str)
        .str.strip()
        .str.title()
    )

    # BƯỚC 3: Chuẩn hóa số điện thoại 10 số
    df['phone'] = (
        df['phone']
        .astype(str)
        .str.replace(r'\D', '', regex=True)
        .apply(lambda x: '0' + x if len(x) == 9 else x)
    )

    # BƯỚC 4: Xử lý doanh thu, ép kiểu float64 và điền trung vị
    clean_rev = df['raw_revenue'].astype(str).str.replace(r'[\$,]', '', regex=True)
    df['revenue'] = pd.to_numeric(clean_rev, errors='coerce')
    df['revenue'] = df['revenue'].fillna(df['revenue'].median()).astype('float64')

    # BƯỚC 5: Chuẩn hóa ngày tháng và trạng thái
    df['order_date'] = pd.to_datetime(df['order_date'], errors='coerce', format='mixed')
    status_map = {'delivered': 'Completed', 'completed': 'Completed', 'pending': 'Pending'}
    df['status'] = df['status'].str.strip().str.lower().map(status_map)

    return df.drop(columns=['raw_revenue']).reset_index(drop=True)

Sau khi chạy qua hàm clean_customer_orders(), hai dòng lỗi đã được loại bỏ hoàn toàn. Đó là đơn trùng ORD-102 và dòng hoàn toàn rỗng. Ô doanh thu trống của đơn ORD-103 được điền tự động bằng số trung vị (1,000.00). Kết quả trả về bảng dữ liệu sạch chuẩn mực:

Kết quả bảng dữ liệu sạch đầu ra (Cleaned DataFrame):