Deep Seek Là Gì? Mô Hình AI Có Điểm Gì Nổi Bật So Với ChatGPT

DeepSeek và mô hình DeepSeek R1 là gì?

DeepSeek là một nền tảng nghiên cứu AI tiên tiến, tập trung phát triển các mô hình ngôn ngữ lớn (LLM) và ứng dụng trí tuệ nhân tạo. Được thành lập vào cuối năm 2023 bởi Liang Wenfeng, DeepSeek nhanh chóng vươn lên thành một đối thủ đáng gờm của OpenAI, Google DeepMind và Meta. Dù tuổi đời còn non trẻ, công ty đã giới thiệu nhiều mô hình AI ấn tượng, nổi bật trong số đó là DeepSeek R1 và DeepSeek R1 Zero.

DeepSeek R1 là một mô hình ngôn ngữ lớn được thiết kế nhằm tối ưu hóa khả năng suy luận. So với OpenAI o1, DeepSeek R1 có hiệu suất tương đương nhưng lại được phát triển với chi phí thấp hơn đáng kể. Theo báo cáo, việc huấn luyện DeepSeek V3 (tiền thân của DeepSeek R1) chỉ tiêu tốn khoảng 5,58 triệu USD – tương đương 3-5% ngân sách cần thiết để tạo ra OpenAI o1. Không chỉ vậy, DeepSeek còn công khai mã nguồn của DeepSeek V3 và DeepSeek R1 theo giấy phép MIT, cho phép người dùng tự do tải về và sử dụng, kể cả cho mục đích thương mại.

Nếu không có điều kiện vận hành các mô hình DeepSeek trên hạ tầng riêng, người dùng có thể trải nghiệm trực tiếp thông qua giao diện chat miễn phí tại DeepSeek Chat. Ngoài ra, DeepSeek cũng cung cấp API với mức giá rẻ hơn đáng kể so với OpenAI API – chỉ 0,14 USD cho 1 triệu token đầu vào và 0,28 USD cho 1 triệu token đầu ra (trong khi GPT-4o của OpenAI có giá lần lượt là 2,50 USD và 10 USD).

Khả năng của mô hình DeepSeek R1

Các mô hình ngôn ngữ lớn (LLM) thường được sử dụng trong nhiều tác vụ liên quan đến ngôn ngữ như dịch thuật hay tóm tắt văn bản. Tuy nhiên, để giải quyết các bài toán phức tạp đòi hỏi khả năng suy luận đa bước, hầu hết các LLM thông thường chưa thực sự xuất sắc. OpenAI đã phát triển mô hình o1 bằng cách ứng dụng kỹ thuật học tăng cường, giúp AI có khả năng lập luận trước khi đưa ra câu trả lời. Nhờ đó, OpenAI o1 vượt trội so với các mô hình truyền thống trong các lĩnh vực như toán học, lập trình, vật lý, hóa học và sinh học.

DeepSeek R1 cũng được xây dựng theo hướng này, giúp mô hình đạt hiệu suất tương đương với OpenAI o1 trong các bài toán toán học và lập trình. Theo báo cáo kỹ thuật, DeepSeek R1 vượt xa GPT-4o và DeepSeek V3 – một phiên bản chưa được huấn luyện bằng học tăng cường. Điều này cho thấy sức mạnh của DeepSeek R1 trong các tác vụ đòi hỏi tư duy logic và suy luận nhiều bước.

Tuy nhiên, điểm hạn chế của các mô hình có khả năng suy luận như DeepSeek R1 hay OpenAI o1 là thời gian phản hồi dài hơn so với các mô hình thông thường. Vì vậy, chúng phù hợp hơn với những bài toán phức tạp thay vì các ứng dụng yêu cầu tốc độ xử lý tức thì.

Đột phá của DeepSeek R1 đến từ đâu?

DeepSeek R1 đạt được thành công nhờ những cải tiến đột phá trong kiến trúc mô hình và phương pháp huấn luyện. Đặc biệt, kỹ thuật học tăng cường đóng vai trò quan trọng trong việc nâng cao khả năng suy luận của mô hình này. Ở các phần tiếp theo, chúng ta sẽ cùng đi sâu vào cấu trúc của DeepSeek R1 cũng như các phương pháp huấn luyện đặc biệt đã giúp mô hình này đạt được hiệu suất ấn tượng.

Kiến trúc mô hình DeepSeek

DeepSeek R1 được xây dựng dựa trên nền tảng của DeepSeek V3, nghĩa là cả hai mô hình này có kiến trúc tương đồng. Tuy nhiên, đội ngũ DeepSeek đã thực hiện nhiều cải tiến quan trọng nhằm tối ưu hóa quá trình huấn luyện và triển khai, giúp nâng cao hiệu suất mà vẫn duy trì mức chi phí hợp lý.

Mô hình DeepSeek V3 và DeepSeek R1 vẫn tuân theo framework của mạng Transformers, nhưng được bổ sung những cải tiến đáng chú ý như:

Mixture of Experts (MoE): Cơ chế này cho phép mô hình chỉ sử dụng một phần nhỏ tham số khi sinh từng token, giúp giảm tải tính toán nhưng vẫn đảm bảo chất lượng đầu ra. MoE hoạt động giống như một hệ thống gồm nhiều chuyên gia, mỗi chuyên gia tập trung vào một nhiệm vụ cụ thể. Khi xử lý một tác vụ, thay vì huy động toàn bộ mô hình, DeepSeek chỉ kích hoạt một nhóm chuyên gia phù hợp nhất. Điều này giúp tăng tốc độ xử lý và cải thiện khả năng tổng quát hóa của mô hình mà không làm tăng đáng kể chi phí tính toán.
Multihead Latent Attention (MLA): Kỹ thuật này tối ưu hóa bộ nhớ và hiệu suất tính toán bằng cách chiếu các ma trận Key-Query-Value trong self-attention vào một không gian có số chiều thấp hơn. Nhờ đó, quá trình xử lý thông tin diễn ra nhanh hơn mà vẫn giữ được độ chính xác cao.
Multi-Token Prediction (MTP): Một cải tiến quan trọng giúp mô hình có thể sinh ra nhiều token đồng thời thay vì từng token một. Nhờ đó, hiệu suất xử lý được tăng lên từ 2 đến 3 lần so với các phương pháp truyền thống.
FP8 Quantization: Phương pháp lượng tử hóa này giúp giảm bộ nhớ tiêu thụ lên đến 75% so với FP32, góp phần giảm đáng kể chi phí tính toán mà vẫn giữ được độ chính xác cần thiết.

DeepSeek V3 sở hữu tổng cộng 671 tỷ tham số, trong đó chỉ có 37 tỷ tham số được sử dụng để sinh ra mỗi token. Điều này cho thấy DeepSeek đã tối ưu hóa hiệu quả mô hình nhằm cân bằng giữa hiệu suất và chi phí tính toán.

Về mặt hạ tầng, DeepSeek V3 được huấn luyện trên cụm server gồm 2.048 GPU NVIDIA H800, với tổng thời gian huấn luyện quy đổi tương đương 2,788 triệu giờ GPU. Nếu tính theo mức giá thuê GPU H800 là 2 USD/giờ, chi phí huấn luyện DeepSeek V3 rơi vào khoảng 5,576 triệu USD. Tuy nhiên, con số này chỉ phản ánh chi phí tính toán thuần túy, chưa bao gồm các khoản chi khác như chuẩn bị dữ liệu hay các thử nghiệm trước khi huấn luyện chính thức.

Dù chưa có con số cụ thể, nhưng nhiều khả năng chi phí huấn luyện DeepSeek R1 còn cao hơn đáng kể so với 5,576 triệu USD, do mô hình này được tối ưu hóa và tinh chỉnh sâu hơn so với phiên bản cơ sở DeepSeek V3.

Cách thức huấn luyện mô hình DeepSeek R1

DeepSeek R1 được huấn luyện bằng kỹ thuật học tăng cường nhằm nâng cao khả năng suy luận của mô hình cơ sở DeepSeek V3. Phương pháp này giúp mô hình học cách đưa ra câu trả lời chính xác hơn, phù hợp hơn với con người.

Học tăng cường là gì?

Học tăng cường (Reinforcement Learning - RL) là một kỹ thuật giúp AI tối ưu hóa chiến lược hành động thông qua thử nghiệm và nhận phản hồi từ môi trường. Quá trình học diễn ra theo ba bước:

Thực hiện hành động: AI đưa ra quyết định dựa trên trạng thái hiện tại.
Nhận phản hồi: Nếu hành động đúng, AI nhận điểm thưởng; nếu sai, bị trừ điểm.
Điều chỉnh chiến lược: AI liên tục tối ưu hóa để đạt tổng điểm thưởng cao nhất.

Ví dụ, khi ứng dụng học tăng cường vào trò chơi Tetris:

AI sẽ học cách sắp xếp khối để đạt điểm cao nhất.
Mỗi lần xếp được một hàng, AI nhận phần thưởng (+10 điểm), xóa được 4 hàng cùng lúc nhận thưởng cao hơn (+50 điểm).
Ngược lại, nếu để khối chạm đỉnh màn hình, AI bị trừ điểm (-1 điểm).
Qua hàng ngàn ván chơi, AI dần tìm ra chiến lược tối ưu.

Ứng dụng học tăng cường để huấn luyện LLM

Học tăng cường từ phản hồi con người (RLHF - Reinforcement Learning from Human Feedback) đã được áp dụng để huấn luyện các mô hình LLM như ChatGPT, Claude và Gemini. Phương pháp này giúp mô hình tạo ra câu trả lời tự nhiên, chính xác và phù hợp hơn.

Mối liên hệ giữa RL và LLM

LLM không tạo ra cả đoạn văn một lúc mà sinh từng token một.
Chất lượng câu trả lời chỉ có thể đánh giá khi toàn bộ câu hoàn chỉnh, tương tự như cách AI chơi Tetris và chỉ được chấm điểm khi hoàn thành một hàng.
LLM không có khả năng tự đánh giá nên cần một mô hình phần thưởng (reward model) để chấm điểm câu trả lời.

Huấn luyện mô hình phần thưởng:
Mô hình phần thưởng đánh giá chất lượng câu trả lời dựa trên:

Accuracy Reward: Thưởng nếu câu trả lời chính xác, đặc biệt với các bài toán có đáp án cụ thể hoặc mã lập trình chạy đúng.
Format Reward: Thưởng nếu mô hình trình bày suy luận theo đúng định dạng yêu cầu.

DeepSeek R1 sử dụng phương pháp GRPO (Group Relative Policy Optimization) để tối ưu hóa mô hình. GRPO khác với PPO (Proximal Policy Optimization) ở chỗ:

Loại bỏ mô hình giá trị trạng thái mà PPO sử dụng.
Tính phần thưởng trung bình từ nhiều câu trả lời khác nhau để giảm chi phí tính toán.
Cải thiện hiệu suất so với PPO, giúp mô hình học hiệu quả hơn.

Quá trình huấn luyện DeepSeek R1

Ban đầu, nhóm phát triển DeepSeek áp dụng trực tiếp RL lên DeepSeek V3 để tạo DeepSeek R1 Zero. Kết quả cho thấy mô hình có khả năng suy luận tốt hơn nhưng gặp một số vấn đề:

Đôi khi trộn lẫn ngôn ngữ (đặc biệt là tiếng Trung).
Nội dung suy luận khó đọc và khó hiểu.

Để khắc phục, DeepSeek áp dụng quy trình huấn luyện nhiều giai đoạn, gồm:

Supervised Fine-Tuning (SFT): Tinh chỉnh có giám sát để cải thiện chất lượng câu trả lời.
Reinforcement Learning (RL): Áp dụng học tăng cường để tối ưu hóa khả năng suy luận.
Rejection Sampling: Lọc ra các phản hồi chất lượng kém để cải thiện dữ liệu huấn luyện.
Huấn luyện tăng cường bổ sung: Bước cuối cùng giúp mô hình ổn định và tinh chỉnh thêm.

Chuyển giao tri thức từ DeepSeek R1

Chuyển giao tri thức (Knowledge Distillation) là một kỹ thuật trong học máy giúp truyền đạt kiến thức từ một mô hình lớn (mô hình giáo viên) sang một mô hình nhỏ hơn (mô hình học sinh). Phương pháp này giúp các mô hình nhỏ duy trì hiệu suất cao trong khi giảm đáng kể yêu cầu về tài nguyên tính toán.

Ứng dụng của chuyển giao tri thức

Chuyển giao tri thức đã được sử dụng rộng rãi trong nhiều lĩnh vực như:

Xử lý ngôn ngữ tự nhiên (NLP) – giúp các mô hình nhỏ hơn học cách tạo phản hồi chất lượng cao từ mô hình lớn.
Nhận dạng giọng nói – cải thiện độ chính xác của hệ thống nhận diện giọng nói trên thiết bị di động.
Nhận diện hình ảnh và phát hiện đối tượng – tối ưu hóa mô hình thị giác máy tính cho các ứng dụng thời gian thực.

Đối với các mô hình ngôn ngữ lớn (LLM), kỹ thuật này đặc biệt hữu ích trong việc chuyển giao khả năng suy luận tiên tiến từ mô hình mã đóng (như GPT-4o) sang các mô hình mã nguồn mở nhỏ hơn, giúp cộng đồng dễ dàng tiếp cận công nghệ mạnh mẽ hơn.

Chuyển giao tri thức từ DeepSeek R1

Nhằm trang bị năng lực lập luận của DeepSeek R1 cho các mô hình nhỏ hơn, đội ngũ DeepSeek đã tinh chỉnh trực tiếp các mô hình mã nguồn mở như Qwen (Alibaba) và Llama (Meta AI) bằng 800.000 mẫu dữ liệu chọn lọc từ DeepSeek R1. Kết quả cho thấy các mô hình nhỏ học được nhiều đặc điểm suy luận từ mô hình lớn, giúp nâng cao đáng kể chất lượng đầu ra.

Các mô hình nhỏ được DeepSeek tinh chỉnh gồm:

Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, Qwen2.5-14B, Qwen2.5-32B
Llama-3.1-8B, Llama-3.3-70B-Instruct

Phương pháp huấn luyện

Đội ngũ DeepSeek chỉ sử dụng tinh chỉnh có giám sát (SFT) mà không áp dụng học tăng cường (RL) trong quá trình chuyển giao tri thức. Dù RL có thể giúp nâng cao hiệu suất mô hình, nhóm nghiên cứu muốn tập trung chứng minh tính hiệu quả của phương pháp này trước. Đồng thời, họ để ngỏ cơ hội tiếp tục phát triển và ứng dụng RL trong tương lai cho cộng đồng nghiên cứu.

Hạn chế của mô hình DeepSeek R1

Dù đạt được kết quả ấn tượng, DeepSeek R1 vẫn tồn tại một số hạn chế cần lưu ý:

Giới hạn về ngôn ngữ

DeepSeek R1 được huấn luyện chủ yếu trên dữ liệu tiếng Anh và tiếng Trung, nên đôi khi nó trả lời bằng tiếng Anh hoặc tiếng Trung ngay cả khi prompt được viết bằng ngôn ngữ khác. Điều này có thể gây bất tiện trong các tình huống yêu cầu phản hồi bằng ngôn ngữ cụ thể.

Xử lý chủ đề nhạy cảm

DeepSeek R1 có xu hướng tránh hoặc từ chối trả lời các câu hỏi về chính trị, xã hội, đặc biệt là các vấn đề liên quan đến Trung Quốc. Tuy nhiên, theo thử nghiệm của nhóm nghiên cứu Cisco, DeepSeek R1 không chặn thành công bất kỳ lời nhắc gây hại nào trong 50 prompt ngẫu nhiên từ tập dữ liệu HarmBench. Điều này đặt ra câu hỏi về hiệu quả kiểm duyệt nội dung của mô hình.

Yêu cầu tài nguyên tính toán lớn

DeepSeek R1 có kích thước rất lớn, đòi hỏi hạ tầng phần cứng mạnh để triển khai trên môi trường local. Cần ít nhất 6 GPU H100 80GB để chạy DeepSeek R1 671B, gây khó khăn cho các cá nhân và tổ chức có tài nguyên hạn chế.

Mặc dù có thể sử dụng các phiên bản mô hình nhỏ hơn được chắt lọc từ DeepSeek R1, nhưng những mô hình này không thể đạt được năng lực suy luận ngang bằng với mô hình gốc.

Kết luận

DeepSeek đã chứng minh rằng học tăng cường là chìa khóa giúp nâng cao khả năng suy luận của các mô hình ngôn ngữ lớn (LLM). Đặc biệt, sự kết hợp giữa fine-tuning và học tăng cường, như trong DeepSeek R1, giúp mô hình đạt hiệu suất vượt trội so với khi chỉ sử dụng một phương pháp huấn luyện đơn lẻ.

Sự ra đời của DeepSeek R1 đánh dấu một bước ngoặt trong ngành AI, cho thấy rằng với cải tiến về kiến trúc và phương pháp huấn luyện, chúng ta có thể phát triển mô hình có năng lực suy luận ngang tầm các sản phẩm thương mại hàng đầu như OpenAI o1, nhưng với chi phí thấp hơn đáng kể. Điều này đặt ra thách thức cho các công ty AI lớn trong việc tối ưu giá dịch vụ API, tạo lợi thế cho doanh nghiệp và người dùng cuối trong việc tiếp cận AI hiệu quả hơn.

Những tiến bộ này không chỉ thúc đẩy đổi mới trong ngành AI, mà còn mở ra cơ hội giúp doanh nghiệp tích hợp AI mạnh mẽ với chi phí hợp lý, từ đó đẩy nhanh quá trình ứng dụng AI vào thực tiễn trong nhiều lĩnh vực.