Cách đội ngũ Deepseek cắt giảm chi phí chạy mô hình suy luận xuống mức khó tin

[Hue Hoang✔]

Một bài phân tích trên trang công nghệ IT Chi Gia của Trung Quốc vừa hé lộ cách đội ngũ DeepSeek (Thâm Cầu), do Lương Văn Phong sáng lập tại Hàng Châu, đưa ra mức giá token thấp hơn nhiều lần so với các mô hình phương Tây. Lương Văn Phong và các cộng sự trẻ của anh ấy thực sự có lối đi rất riêng: thay vì chạy đua gom thật nhiều phần cứng đắt đỏ, họ tập trung vắt kiệt hiệu suất bằng cách nén bộ nhớ đệm và chỉ đánh thức đúng những cụm tham số cần thiết cho từng câu lệnh. Nói cách khác, thay vì mở rộng ồ ạt số lượng máy chủ, nhóm nghiên cứu tập trung vào hai giải pháp kỹ thuật. Thứ nhất là kiến trúc chuyên gia hỗn hợp (mixture of experts), cho phép hệ thống chỉ đánh thức một phần nhỏ tham số cần thiết cho từng câu lệnh, thay vì kích hoạt toàn bộ mô hình. Thứ hai là cơ chế nén bộ nhớ đệm, giúp tái sử dụng dữ liệu đã xử lý và giảm khối lượng tính toán lặp lại. Chính nhờ cách giải quyết bài toán kỹ thuật...

Đọc bài gốc tại đây