Kết quả chạy lại toàn bộ các task với prompt tương tự trong LMStudio, tốc độ dao động trung bình từ 36/39 tokens ở các task từ toán học, logic, sinh văn bản dài tới code. TTFT dao động từ 0.2 tới 0.5 giây, vẫn cực nhanh và ổn định.
Nhìn chung nếu chạy một “con ChatGPT” nguồn mỡ mạnh nhất trên máy tính local của OpenAI, thì đây gần như là chiếc laptop / tablet mạnh nhất có thể làm được chuyện đó.
Một điểm ăn tiền chính là nó có 128 GB RAM unified memory, trong đó gần 96 GB có thể được dùng như VRAM (graphics-addressable hoặc cho các tính toán AI nặng), máy có khả năng xử lý các mô hình lớn hơn (LLM có tham số nhiều, hoặc inference/concurrent tasks) mà không bị “out of memory” (OOM) quá sớm.
Mặc khác do bản chất thiết kế, mọi thứ CPU, GPU, NPU và RAM đều ở rất gần nhau trên cùng một chip nên khi chạy các chatbot AI local, nó chăc chắn sẽ cho thời gian trả lời (time to first token) tốt hơn nhiều, tốt hơn cả sử dụng remote server hoặc online service. Mặt khác, bộ nhớ khủng khiếp tới 218GB RAM kết hợp với GPU+NPU+CPU mạnh còn cho phép máu chạy nhiều workload AI tốt hơn nhiều so với các hệ thống RAM nhỏ hoặc chỉ có GPU rời.
Dĩ nhiên, đó là chạy chứ mình đang không nói tới khía cạnh khác của AI là training. Nhu cầu training model AI lớn ngay từ đầu, cỡ 70B tham số trở lên hoặc fine tune dữ liệu lớn thì đây chắc chắn không là thế mạnh của con chip này. Mặt khác, bản chất là một con chip di động nên Ryzen AI Max+ vẫn sẽ bị giới hạn phụ thuộc về nhiệt, TDP và cả thiết kế hệ thống để tải nặng ổn định trong thời gian dài. Một yếu tố quan trọng khác, NPU cần được engine chạy AI hỗ trợ hiệu quả để khai thác tối đa vai trò của nó thì mới đẩy tổng thể hệ thống lên sức mạnh chạy AI hiệu quả nhất có thể.
Nguồn:Baochinhphu.vn