Kiểm tra chất lượng dữ liệu tự động với n8n trước báo cáo

▭Dòng trống

Ví dụ: Một dòng không có dữ liệu nằm giữa bảng

Nếu bỏ qua: Bộ lọc, Power Query hoặc công thức có thể dừng đọc tại đó, bỏ sót các dòng bên dưới

◌Thiếu dữ liệu bắt buộc

Ví dụ: Có thành tiền nhưng trống cột CuaHang

Nếu bỏ qua: Doanh thu không được tính vào cửa hàng nào, tổng theo cửa hàng lệch với tổng chung

⧉Trùng mã giao dịch

Ví dụ: Cùng một MaGiaoDich xuất hiện hai lần do dán file hai lần

Nếu bỏ qua: Doanh thu bị cộng dư, báo cáo đẹp hơn thực tế

✕Sai định dạng

Ví dụ: Ngày ghi 23/10/2026 thay vì 2026-10-23, thành tiền ghi “1.200.000đ” dạng chữ

Nếu bỏ qua: Dòng bị loại âm thầm khi lọc theo ngày hoặc khi cộng tổng

⊘Ngoài danh mục

Ví dụ: Cửa hàng ghi “Q1” thay vì “Quận 1”

Nếu bỏ qua: Một cửa hàng bị tách thành hai dòng trên biểu đồ

⏱Dữ liệu chưa cập nhật

Ví dụ: Ngày mới nhất trong bảng là 3 ngày trước

Nếu bỏ qua: Báo cáo “tuần này” thực ra thiếu mấy ngày gần nhất

1// 1. Dữ liệu cần kiểm tra và danh mục cửa hàng hợp lệ
2const rows = $('Đọc dữ liệu').all().map(i => i.json);
3const danhMuc = new Set($('Đọc danh mục').all().map(i => String(i.json.CuaHang ?? '').trim()));
4const COT = ['MaGiaoDich', 'NgayBan', 'CuaHang', 'SanPham', 'SoLuong', 'ThanhTien'];
5const NGUONG_DAT = 98; // % dòng sạch tối thiểu để coi là "Cần xem" thay vì "Chưa đạt"
6
7const loi = [];
8const sDong = (r, i) => r.row_number ?? i + 2; // số dòng thật trên Google Sheets
9const them = (r, i, loai, chiTiet) =>
10  loi.push({ dong: sDong(r, i), ma: String(r.MaGiaoDich ?? '').trim() || '(trống)', loai, chiTiet });
11const laNgay = s => DateTime.fromFormat(s, 'yyyy-MM-dd').isValid;
12
13// 2. Chạy các quy tắc cho từng dòng
14const daGap = new Map();
15rows.forEach((r, i) => {
16  const v = Object.fromEntries(COT.map(c => [c, String(r[c] ?? '').trim()]));
17
18  if (COT.every(c => v[c] === '')) { them(r, i, 'Dòng trống', 'Cả dòng không có dữ liệu'); return; }
19
20  COT.forEach(c => { if (v[c] === '') them(r, i, 'Thiếu dữ liệu', `Cột ${c} trống`); });
21
22  if (v.MaGiaoDich) {
23    if (daGap.has(v.MaGiaoDich)) them(r, i, 'Trùng', `Trùng mã với dòng ${daGap.get(v.MaGiaoDich)}`);
24    else daGap.set(v.MaGiaoDich, sDong(r, i));
25  }
26
27  if (v.NgayBan && !laNgay(v.NgayBan)) them(r, i, 'Sai định dạng', `NgayBan "${v.NgayBan}" không đúng YYYY-MM-DD`);
28  if (v.SoLuong && !(Number.isInteger(Number(v.SoLuong)) && Number(v.SoLuong) > 0))
29    them(r, i, 'Sai định dạng', `SoLuong "${v.SoLuong}" phải là số nguyên dương`);
30  if (v.ThanhTien && !(Number(v.ThanhTien) > 0))
31    them(r, i, 'Sai định dạng', `ThanhTien "${v.ThanhTien}" phải là số dương, không có chữ hay dấu chấm`);
32
33  if (v.CuaHang && !danhMuc.has(v.CuaHang)) them(r, i, 'Ngoài danh mục', `Cửa hàng "${v.CuaHang}" không có trong danh mục`);
34});
35
36// Dòng trống giữa bảng mà n8n bỏ qua khi đọc: nhận ra qua số dòng bị nhảy
37const soDong = rows.map(sDong).sort((a, b) => a - b);
38let boQua = 0;
39for (let k = 1; k < soDong.length; k++) {
40  for (let d = soDong[k - 1] + 1; d < soDong[k]; d++) {
41    loi.push({ dong: d, ma: '(trống)', loai: 'Dòng trống', chiTiet: 'Dòng trống giữa bảng' }); boQua++;
42  }
43}
44
45// 3. Quy tắc thứ 6: dữ liệu đã cập nhật đến hôm qua chưa
46const ngayHopLe = rows.map(r => String(r.NgayBan ?? '').trim()).filter(laNgay).sort();
47const moiNhat = ngayHopLe[ngayHopLe.length - 1] || '(không có)';
48const homQua = $now.minus({ days: 1 }).toFormat('yyyy-MM-dd');
49const chuaCapNhat = moiNhat === '(không có)' || moiNhat < homQua;
50
51// 4. Chấm điểm và kết luận
52const tong = rows.length + boQua;
53const soDongLoi = new Set(loi.map(l => l.dong)).size;
54const diem = tong ? Math.round((1 - soDongLoi / tong) * 1000) / 10 : 0;
55const trangThai = soDongLoi === 0 && !chuaCapNhat ? 'Sạch'
56  : diem >= NGUONG_DAT && !chuaCapNhat ? 'Cần xem' : 'Chưa đạt';
57const theoLoai = loi.reduce((m, l) => { m[l.loai] = (m[l.loai] || 0) + 1; return m; }, {});
58
59// 5. Soạn tin nhắn Telegram (tối đa 15 lỗi đầu tiên)
60const BIEU_TUONG = { 'Sạch': '✅', 'Cần xem': '🟡', 'Chưa đạt': '🔴' };
61const dong = [
62  `🧪 Kiểm tra dữ liệu ${$now.toFormat('dd/MM/yyyy HH:mm')}`,
63  `${BIEU_TUONG[trangThai]} ${trangThai} · Điểm chất lượng: ${diem}%`,
64  `Tổng ${tong} dòng · ${soDongLoi} dòng có lỗi`,
65  ...Object.entries(theoLoai).map(([k, n]) => `- ${k}: ${n}`),
66  `Dữ liệu mới nhất: ${moiNhat}${chuaCapNhat ? ' ⚠️ chưa cập nhật đến hôm qua' : ''}`
67];
68if (loi.length) {
69  loi.sort((a, b) => a.dong - b.dong);
70  dong.push('', 'Cần sửa:', ...loi.slice(0, 15).map(l => `• Dòng ${l.dong} (${l.ma}): ${l.loai} – ${l.chiTiet}`));
71  if (loi.length > 15) dong.push(`… và ${loi.length - 15} lỗi khác`);
72} else {
73  dong.push('', 'Không có lỗi, sẵn sàng làm báo cáo.');
74}
75
76return [{ json: {
77  NgayKiemTra: $now.toFormat('yyyy-MM-dd HH:mm'), TongDong: tong, SoDongLoi: soDongLoi,
78  DiemChatLuong: diem, TrangThai: trangThai, DuLieuMoiNhat: moiNhat, tinNhan: dong.join('\n')
79} }];

📈 Giá trị bất thường

đánh dấu giao dịch có ThanhTien lớn hơn nhiều lần mức thường gặp, vì đó có thể là lỗi gõ thừa số 0.

🗂 Lưu chi tiết từng lỗi

trả về mỗi lỗi một item và ghi vào một sheet riêng để theo dõi lỗi nào hay lặp lại, ai hay nhập sai.

✦ Dùng Claude cho cột chữ tự do

với tên sản phẩm viết nhiều kiểu khác nhau, có thể nhờ Claude gợi ý cách gộp về một tên chuẩn, rồi người phụ trách duyệt trước khi áp dụng.

🛡 Chặn lỗi ngay từ lúc nhập

dùng Data validation của Google Sheets (danh sách thả xuống cho CuaHang, kiểu ngày cho NgayBan, số dương cho ThanhTien) để giảm số lỗi workflow phải báo.

Võ Ngọc Vương – Data Analyst tại MCNA Technology School

MCNA Technology School – Đơn vị tiên phong đào tạo AI, Big Data, Business Intelligence tại Việt Nam. Chuyên sâu về Power BI, Python, SQL và Data Analytics — đối tác đào tạo của 300+ doanh nghiệp.

Đối tác đào tạo: Viettel Global, Masan Group, Techcombank, VPBank, Daikin.

• 🌐 Website: mcna.vn
• ▶️ YouTube: youtube.com/@mcna.technology.school
• 💼 LinkedIn: linkedin.com/company/mcna-vn
• 📞 Hotline: 0939.866.825 (Mr. Minh Khang)
• 📍 30 Trung Liệt, Đống Đa, Hà Nội
• 📍 Liền kề 44B, TT2, Văn Quán, Hà Đông, Hà Nội
• 📍 The BIB Space, 50B Phan Tây Hồ, Cầu Kiệu, TPHCM