Series: Machine Learning Fundamentals – Bài 12

Trong hai bài viết trước, chúng ta đã tìm hiểu:

• Supervised Learning – mô hình học từ dữ liệu đã có nhãn.
• Unsupervised Learning – mô hình tự khám phá quy luật trong dữ liệu chưa có nhãn.

Tuy nhiên, có nhiều bài toán mà AI không được cung cấp đáp án đúng, cũng không chỉ đơn thuần tìm cấu trúc dữ liệu.

Thay vào đó, AI phải tự tương tác với môi trường, thử nhiều hành động khác nhau và học từ kết quả của chính mình.

Đó chính là Reinforcement Learning (RL).

Reinforcement Learning là gì?

Reinforcement Learning là một nhánh của Machine Learning, trong đó mô hình học thông qua thử nghiệm và phản hồi (trial and error).

Thay vì được cung cấp đáp án đúng, AI sẽ:

1. Quan sát trạng thái của môi trường.
2. Thực hiện một hành động.
3. Nhận phản hồi dưới dạng phần thưởng (Reward) hoặc hình phạt (Penalty).
4. Điều chỉnh chiến lược để đạt được tổng phần thưởng cao nhất trong dài hạn.

Mục tiêu của Reinforcement Learning không phải là đưa ra quyết định tốt nhất ngay lập tức, mà là học một chính sách (Policy) tối ưu sau nhiều lần tương tác.

Ba thành phần quan trọng của Reinforcement Learning

Một hệ thống RL thường gồm ba thành phần chính:

Agent

Đối tượng đưa ra quyết định.

Ví dụ:

• Robot.
• Xe tự lái.
• AI chơi cờ.
• AI điều khiển nhân vật trong game.

Environment

Môi trường mà Agent tương tác.

Ví dụ:

• Bàn cờ.
• Đường phố.
• Trò chơi điện tử.
• Nhà kho tự động.

Reward

Phản hồi sau mỗi hành động.

Ví dụ:

• +10 điểm khi hoàn thành nhiệm vụ.
• -5 điểm khi va chạm.
• +100 điểm khi chiến thắng.

Reward là tín hiệu giúp Agent biết hành động vừa thực hiện có mang lại kết quả mong muốn hay không.

Reinforcement Learning hoạt động như thế nào?

Có thể hình dung quy trình như sau:

Environment
      ↓
State
      ↓
Agent
      ↓
Action
      ↓
Reward + State mới
      ↓
Agent cập nhật chiến lược

Quá trình này lặp đi lặp lại hàng triệu lần.

Sau đủ số lần học, Agent sẽ dần tìm được chiến lược mang lại tổng Reward cao nhất.

Ví dụ: Robot học cách đi

Hãy tưởng tượng một robot đang học cách đi.

Ban đầu:

• Robot bước sai.
• Robot bị ngã.
• Robot mất thăng bằng.

Sau mỗi lần thử:

• Đi được một bước → +1 điểm.
• Đi xa hơn → +10 điểm.
• Ngã → -20 điểm.

Robot không được dạy cách bước chân.

Nó tự học thông qua hàng nghìn lần thử và điều chỉnh chiến lược dựa trên Reward.

Đây chính là Reinforcement Learning.

Exploration và Exploitation

Một thách thức lớn trong RL là cân bằng giữa:

Exploration

Khám phá những hành động mới.

Ví dụ:

Robot thử một hướng đi hoàn toàn khác.

Exploitation

Khai thác chiến lược đã biết là hiệu quả.

Ví dụ:

Robot tiếp tục sử dụng cách đi đã mang lại nhiều Reward.

Nếu chỉ Exploration, Agent sẽ học rất chậm.

Nếu chỉ Exploitation, Agent có thể bỏ lỡ những chiến lược tốt hơn.

Vì vậy, hầu hết các thuật toán Reinforcement Learning đều phải cân bằng giữa hai yếu tố này.

Q-Learning

Một trong những thuật toán Reinforcement Learning kinh điển là Q-Learning.

Ý tưởng của Q-Learning là xây dựng một Q-value cho mỗi cặp:

(State, Action)

Q-value biểu diễn phần thưởng kỳ vọng khi thực hiện một hành động tại một trạng thái nhất định.

Qua nhiều lần cập nhật, Agent sẽ học được hành động nào mang lại giá trị lớn nhất.

Q-Learning là nền tảng cho nhiều thuật toán Reinforcement Learning hiện đại.

Deep Reinforcement Learning

Trong các bài toán phức tạp, số lượng trạng thái có thể lên tới hàng triệu.

Lúc này, việc lưu toàn bộ bảng Q không còn khả thi.

Thay vào đó, người ta sử dụng Deep Neural Network để xấp xỉ Q-value.

Đây được gọi là Deep Reinforcement Learning (Deep RL).

Deep RL là công nghệ đứng sau nhiều thành tựu nổi bật của AI trong thập kỷ vừa qua.

Ứng dụng của Reinforcement Learning

AlphaGo

AI của DeepMind đánh bại các kỳ thủ cờ vây hàng đầu thế giới bằng cách kết hợp Deep Learning và Reinforcement Learning.

Robot tự động

Robot học cách di chuyển, cầm nắm đồ vật hoặc phối hợp với con người.

Xe tự lái

Một số bài toán điều khiển và ra quyết định trong môi trường mô phỏng được giải quyết bằng Reinforcement Learning.

Game AI

Các AI trong Atari, Dota 2 hay StarCraft có thể học chiến thuật thông qua hàng triệu trận đấu mô phỏng.

Quản lý tài nguyên

RL được nghiên cứu trong tối ưu hóa hệ thống mạng, trung tâm dữ liệu và điều phối năng lượng.

Ưu điểm và hạn chế

Reinforcement Learning khác gì Supervised Learning?

Kết luận

Reinforcement Learning là phương pháp Machine Learning cho phép AI học thông qua tương tác với môi trường thay vì học từ dữ liệu có nhãn.

Thông qua cơ chế Reward, Policy và quá trình trial and error, Agent dần tìm ra chiến lược tối ưu để đạt được mục tiêu dài hạn.

Ngày nay, Reinforcement Learning đóng vai trò quan trọng trong nhiều lĩnh vực như robot, xe tự lái, trò chơi điện tử và tối ưu hóa hệ thống, đồng thời là nền tảng của nhiều nghiên cứu AI tiên tiến.

Bài tiếp theo

Ở bài viết tiếp theo, MCNA Technology School sẽ cùng bạn tìm hiểu:

Q-Learning hoạt động như thế nào? Giải thích trực quan bằng ví dụ mê cung và AI tìm đường.

Google Developers – Machine Learning Glossary (Reinforcement Learning)
https://developers.google.com/machine-learning/glossary

Tác giả: Bùi Đình Tuyển – Data Analyst tại MCNA Technology School

📞 Hotline: 0939.866.825 (Mr. Minh Khang)

🌐 Website: mcna.vn

📍 Hà Nội: 30 Trung Liệt, Đống Đa | Liền kề 44B TT2 Văn Quán, Hà Đông

📍 TP.HCM: 50B Phan Tây Hồ, Cầu Kiệu