Diffusion Models Là Gì? Mô Hình Tạo Ảnh AI Hiện Đại

Series: Machine Learning Fundamentals – Bài 37

Ở bài trước, chúng ta đã tìm hiểu Generative Adversarial Networks (GANs) – mô hình tạo sinh đối kháng giữa Generator và Discriminator từng thống trị mảng AI tạo ảnh trong nhiều năm.

Tuy nhiên, do GANs nổi tiếng là cực kỳ khó huấn luyện và hay gặp hiện tượng sụp đổ chế độ (Mode Collapse), một lớp kiến trúc tạo sinh mới đã xuất hiện và thay thế vị trí dẫn đầu của GANs: Diffusion Models (Mô hình khuếch tán). Đây chính là công nghệ cốt lõi đứng đằng sau các công cụ tạo ảnh AI hàng đầu hiện nay như Stable Diffusion, Midjourney, DALL-E 3 và Imagen.

Diffusion Models là gì?

Diffusion Models là một lớp mô hình tạo sinh (Generative Models) thuộc nhóm Học không giám sát (Unsupervised Learning).

Mô hình hoạt động dựa trên nguyên lý vật lý của quá trình khuếch tán: phá hủy dữ liệu bằng cách thêm nhiễu ngẫu nhiên (Noise), sau đó học cách khôi phục lại dữ liệu gốc từ chính lớp nhiễu đó.

[Bức ảnh gốc (x_0)]  ── Thêm nhiễu dần dần ──>  [Nhiễu hoàn toàn (x_T)]  (Forward Process)
                                                        │
[Bức ảnh mới (x_0)]  <── Khử nhiễu từng bước ───────────┘                (Reverse Process)

Tài liệu chính thức mô tả Diffusion Models là các mô hình xác suất điều kiện (Conditional Probabilistic Models) biến đổi nhiễu Gaussian thành phân phối dữ liệu thực thông qua quy trình khử nhiễu từng bước. Xem thêm tại Hugging Face Diffusers Documentation.

Cấu trúc và Cơ chế hoạt động của Diffusion Models

Quá trình hoạt động của Diffusion Models được chia thành 2 giai đoạn chính:

1. Quá trình khuếch tán tiến (Forward Diffusion Process)

• Nguyên lý: Nhận bức ảnh gốc $x_0$ từ Dataset và thêm dần nhiễu Gaussian ngẫu nhiên qua $T$ bước thời gian ($t = 1, 2, …, T$).

• Công thức toán học:

  $$q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 – \beta_t} x_{t-1}, \beta_t \mathbf{I})$$

  • Trong đó $\beta_t$ là lịch trình bổ sung nhiễu (Variance Schedule).

• Kết quả: Sau $T$ bước (thường từ $1000$ bước trở lên), bức ảnh gốc $x_0$ sẽ bị phá hủy hoàn toàn và biến thành một khối nhiễu vô nghĩa $x_T \sim \mathcal{N}(0, \mathbf{I})$.

2. Quá trình khuếch tán ngược (Reverse Diffusion Process)

• Nguyên lý: Mạng nơ-ron (thường sử dụng kiến trúc U-Net) học cách dự đoán lượng nhiễu đã được thêm vào ở từng bước thời gian để “trừ đi” lượng nhiễu đó.

• Công thức toán học:

  $$p_\theta(x_{t-1} \mid x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$$

• Kết quả: Bắt đầu từ một khối nhiễu ngẫu nhiên $x_T$, mô hình lặp đi lặp lại việc khử nhiễu qua $T$ bước để sinh ra một bức ảnh hoàn toàn mới $x_0$ cực kỳ sắc nét.

Kiến trúc U-Net và Cross-Attention trong Diffusion Models

Trái tim của quá trình khử nhiễu là mạng nơ-ron U-Net kết hợp với cơ chế Attention:

1. U-Net Architecture: Mô hình nơ-ron có dạng chữ U gồm nhánh trích xuất đặc trưng (Encoder/Downsampling) và nhánh khôi phục độ phân giải (Decoder/Upsampling) thông qua các liên kết tắt (Skip Connections). U-Net nhận đầu vào là ảnh bị nhiễu $x_t$ cùng bước thời gian $t$ và đưa ra dự đoán về lượng nhiễu $\epsilon_\theta(x_t, t)$.

2. Text Conditioning (Cross-Attention): Để tạo ảnh theo câu lệnh văn bản (Text-to-Image), văn bản (Prompt) được mã hóa bằng mô hình ngôn ngữ (như CLIP Text Encoder). Các vectơ Embedding này được đưa vào lớp Cross-Attention bên trong U-Net để định hướng quá trình khử nhiễu vẽ đúng đối tượng người dùng yêu cầu.

Latent Diffusion Models (LDM – Stable Diffusion)

Nếu thực hiện quá trình khuếch tán trực tiếp trên không gian điểm ảnh (Pixel Space) có độ phân giải cao ($1024 \times 1024$), chi phí tính toán và bộ nhớ GPU sẽ bùng nổ vô cùng tốn kém.

Để giải quyết vấn đề này, kiến trúc Latent Diffusion Models (LDM) – nền tảng của Stable Diffusion – ra đời:

• Dùng Autoencoder (VAE) nén bức ảnh gốc từ Pixel Space xuống không gian ẩn (Latent Space) nhỏ hơn gấp $8$ đến $16$ lần.

• Quá trình khuếch tán tiến và ngược diễn ra hoàn toàn trong Latent Space này, giúp giảm hàng chục lần tài nguyên GPU và tăng tốc độ sinh ảnh lên vượt trội.

• Sau khi khử nhiễu xong trong Latent Space, VAE Decoder sẽ giải nén dữ liệu ẩn trở lại thành bức ảnh Pixel hoàn chỉnh.

Dữ liệu có cần Preprocessing / Scaling không?

CỰC KỲ BẮT BUỘC.

1. Chuẩn hóa điểm ảnh về $[-1, 1]$: Mạng U-Net trong Diffusion Models tiếp nhận dữ liệu ảnh đã được chuẩn hóa về khoảng $[-1, 1]$ bằng công thức:

   $$X_{\text{scaled}} = \frac{X}{127.5} – 1.0$$

2. Tokenization & Text Embedding: Các đoạn Prompt văn bản bắt buộc phải qua bước Tokenize và mã hóa bằng các Encoder như CLIP hoặc T5 trước khi truyền vào mạng.

So sánh GANs và Diffusion Models

Ưu điểm và Nhược điểm của Diffusion Models

Ưu điểm

• Quá trình huấn luyện cực kỳ ổn định, không bị bế tắc hay Mode Collapse như GANs.

• Sinh ra hình ảnh có chi tiết chân thực, nghệ thuật và độ đa dạng phong phú.

• Khả năng kết hợp tốt với văn bản điều khiển (Text-to-Image) nhờ cơ chế Cross-Attention.

Nhược điểm

• Tốc độ suy luận (Inference Speed) chậm: Cần thực hiện nhiều bước lặp khử nhiễu ($20 – 100$ steps) để tạo ra một bức ảnh.

• Yêu cầu tài nguyên tính toán phần cứng lớn trong giai đoạn suy luận và huấn luyện.

Ứng dụng thực tế của Diffusion Models

• Text-to-Image / Image-to-Image: Midjourney, Stable Diffusion, DALL-E 3 tạo tác phẩm nghệ thuật, thiết kế quảng cáo.

• Inpainting & Outpainting: Chỉnh sửa, xóa vật thể hoặc mở rộng khung hình bức ảnh.

• Text-to-Video: OpenAI Sora, Runway Gen-2 sinh video chuyển động từ văn bản.

• Audio & 3D Generation: Tạo âm thanh, nhạc nền và mô hình vật thể 3D cho Game/VFX.

Tóm tắt

1. Diffusion Models sinh dữ liệu bằng cách học quy trình ngược của quá trình thêm nhiễu Gaussian.

2. Hai giai đoạn chính: Forward Process (thêm nhiễu) và Reverse Process (khử nhiễu).

3. Mạng U-Net và cơ chế Cross-Attention đóng vai trò dự đoán lượng nhiễu theo chỉ dẫn văn bản.

4. Latent Diffusion (Stable Diffusion) nén dữ liệu xuống Latent Space để tối ưu tốc độ và bộ nhớ GPU.

5. Bắt buộc Rescale ảnh về $[-1, 1]$ trước khi đưa vào mô hình.

Tài liệu tham khảo

1. Ho et al. (2020): Denoising Diffusion Probabilistic Models (DDPM) – Bài báo gốc đặt nền móng cho Diffusion Models.

2. Rombach et al. (2022): High-Resolution Image Synthesis with Latent Diffusion Models – Bài báo gốc về Stable Diffusion (LDM).

3. Hugging Face Documentation: The Diffusers Library

Khóa học tại MCNA Technology School

Nếu bạn muốn thực hành Machine Learning, Python và xây dựng các mô hình trên dữ liệu thực tế, có thể tham khảo:

• 🤖 Khóa học – MCNA

• 🐍 Khóa học – MCNA

Tác giả: Bùi Đình Tuyển – Data Analyst tại MCNA Technology School

📞 Hotline: 0939.866.825 (Mr. Khang)

🌐 Website: MCNA Technology School

📍 Hà Nội: 30 Trung Liệt, Đống Đa | Liền kề 44B TT2 Văn Quán, Hà Đông

📍 TP.HCM: 50B Phan Tây Hồ, Cầu Kiệu