GPU Nvidia V100 'đồng nát' bất ngờ qua mặt Mac Studio M5 Max

Tưởng chừng đã hết thời, những chiếc GPU Nvidia V100 cũ vẫn chứng minh giá trị khi vượt qua máy tính Mac Studio cao cấp của Apple.

Theo Tom's Hardware, một hệ thống máy tính sử dụng ba GPU Nvidia Tesla V100 cũ vừa gây chú ý khi đạt hiệu năng xử lý trí tuệ nhân tạo (AI) vượt Mac Studio M5 Max trong một số thử nghiệm. Điều bất ngờ nằm ở chỗ hệ thống này chỉ có chi phí linh kiện được công bố khoảng 1.042 USD, trong khi máy tính Apple dùng để so sánh có giá 5.399 USD.

Kết quả đến từ dự án của Devon Bray, người chuyên xây dựng các hệ thống máy tính tại nhà. Anh tận dụng những GPU máy chủ đã ngừng sử dụng để đánh giá khả năng vận hành các mô hình ngôn ngữ lớn (LLM), thay vì đầu tư vào phần cứng AI thế hệ mới.

Ba GPU cũ đạt tốc độ hơn 100 token/giây

Hệ thống thử nghiệm sử dụng ba GPU Tesla V100 phiên bản 16 GB, kết hợp bo mạch chủ Supermicro X10DRG-Q và hai bộ xử lý Intel Xeon E5-2687W. Đây đều là những linh kiện thuộc phân khúc máy chủ, vốn không còn được xem là lựa chọn hàng đầu cho các tác vụ AI hiện đại.

GPU Nvidia V100 'đồng nát' bất ngờ qua mặt Mac Studio - Ảnh 1.

Dù ra mắt từ năm 2017, Nvidia Tesla V100 vẫn tận dụng được lợi thế băng thông bộ nhớ để xử lý các mô hình AI có ngữ cảnh dài

ẢNH: CHỤP MÀN HÌNH REDDIT

Với mô hình Qwen 3.6 35B ở độ chính xác 8-bit, hệ thống đạt tốc độ 100,8 token/giây tại ngữ cảnh 4K. Khi tăng lên 32K và 64K, hiệu năng lần lượt đạt 89,4 và 83,5 token/giây. Ngay cả ở ngữ cảnh 128K, tốc độ vẫn duy trì 72,7 token/giây.

Token là đơn vị dữ liệu văn bản mà mô hình AI xử lý. Tốc độ tạo token càng cao, hệ thống càng có khả năng phản hồi nhanh. Trong khi đó, ngữ cảnh dài cho phép AI xử lý lượng thông tin lớn hơn, chẳng hạn tài liệu nhiều trang hoặc những cuộc hội thoại kéo dài.

Đáng chú ý, nhóm thử nghiệm cũng ghi nhận Qwen 3.6 27B chỉ đạt khoảng 24,3 token/giây ở ngữ cảnh 4K. Sự chênh lệch xuất phát một phần từ kiến trúc Mixture-of-Experts (MoE) của phiên bản 35B, vốn chỉ kích hoạt khoảng 3 tỉ trong tổng số 35 tỉ tham số cho mỗi token.

Ở ngữ cảnh 4K, Mac Studio đạt 105,5 token/giây, nhỉnh hơn mức 100,8 token/giây của ba GPU V100. Tuy nhiên, tại ngữ cảnh 128K, máy Apple giảm xuống 61,3 token/giây, trong khi hệ thống GPU cũ vẫn đạt 72,7 token/giây, cao hơn khoảng 19%.

Dù vậy, đây chưa phải phép so sánh hoàn toàn tương đồng do hai hệ thống sử dụng môi trường phần mềm khác nhau. Ngoài ra, mức giá 1.042 USD chưa bao gồm đầy đủ RAM, ổ lưu trữ, vỏ máy và hệ thống tản nhiệt.

Các GPU V100 cũ cũng có nhược điểm về nhiệt độ và điện năng tiêu thụ. Người thực hiện dự án phải tự in 3D các bộ phận dẫn gió để làm mát cho từng card.

Với những người muốn xây dựng hệ thống AI tại nhà, GPU máy chủ đã qua sử dụng như Nvidia Tesla V100 có thể là lựa chọn vừa đủ. Tuy nhiên, chi phí điện năng, tản nhiệt và khả năng tương thích phần mềm vẫn là những yếu tố cần tính đến trước khi đầu tư.

Bạn không thể gửi bình luận liên tục. Xin hãy đợi
60 giây nữa.