Việc chạy mô hình AI cục bộ mang lại nhiều lợi ích, bao gồm tăng cường quyền riêng tư và giảm độ trễ. Gemma 3 270M được thiết kế với những trường hợp sử dụng này trong tâm trí. Trong quá trình thử nghiệm trên Pixel 9 Pro, Gemma mới có thể thực hiện 25 cuộc trò chuyện khi xử lý trên chip Tensor G4 và chỉ sử dụng 0.75% pin của thiết bị. Điều đó khiến nó trở thành mô hình Gemma hiệu quả nhất.
Các nhà phát triển không nên mong đợi mức hiệu suất tương đương với các mô hình có hàng tỷ tham số, nhưng Gemma 3 270M vẫn hữu ích. Google đã sử dụng tiêu chuẩn IFEval, kiểm tra khả năng tuân theo hướng dẫn của một mô hình, để chứng minh rằng mô hình mới này vượt trội so với kỳ vọng. Gemma 3 270M đạt được điểm 51.2% trong bài kiểm tra này, cao hơn các mô hình nhẹ khác có nhiều tham số hơn. Mô hình Gemma mới dự đoán sẽ kém hơn các mô hình như Llama 3.2 (với hơn 1 tỷ tham số), nhưng vẫn gần hơn bạn nghĩ với chỉ một phần nhỏ số lượng tham số.
Google tuyên bố rằng Gemma 3 270M hoạt động tốt trong việc tuân theo hướng dẫn ngay cả ở phiên bản gốc được họ tung ra, nhưng công ty kỳ vọng các nhà phát triển sẽ tinh chỉnh mô hình cho các trường hợp sử dụng cụ thể của họ. Do số lượng tham số nhỏ, quá trình này diễn ra nhanh chóng và tiết kiệm chi phí. Google dự kiến Gemma mới sẽ được sử dụng cho các tác vụ như phân loại văn bản và phân tích dữ liệu, mà nó có thể thực hiện một cách nhanh chóng và không đòi hỏi nhiều yêu cầu về tính toán.
Cụ thể hơn, đây là những tình huống nơi mô hình với chỉ 270 triệu tham số có thể được ứng dụng vận hành một cách có ích:
- Anh em có một tác vụ khối lượng lớn, được xác định rõ ràng. Lý tưởng cho các chức năng như phân tích cảm xúc, trích xuất thực thể, định tuyến truy vấn, xử lý văn bản từ phi cấu trúc sang cấu trúc, viết sáng tạo và kiểm tra tuân thủ.
- Anh em cần tận dụng tối đa cả thời gian lẫn chi phí. Mô hình này giảm đáng kể hoặc loại bỏ chi phí nội suy trong quá trình tạo sinh, và cung cấp phản hồi nhanh hơn cho người dùng. Một mô hình 270 triệu tham số được tinh chỉnh có thể chạy trên cơ sở hạ tầng nhẹ, giá rẻ hoặc chạy trực tiếp trên thiết bị đầu cuối.
- Anh em cần lặp lại các tác vụ, và triển khai nhanh chóng. Kích thước nhỏ gọn của Gemma 3 270M cho phép thực hiện các thử nghiệm tinh chỉnh nhanh chóng, giúp bạn tìm ra cấu hình hoàn hảo cho trường hợp sử dụng của mình chỉ trong vài giờ, chứ không phải vài ngày.
- Anh em cần đảm bảo quyền riêng tư của người dùng. Vì mô hình có thể chạy hoàn toàn trên thiết bị, anh em có thể xây dựng các ứng dụng xử lý thông tin nhạy cảm mà không cần gửi dữ liệu lên đám mây.
- Anh em muốn có một đội ngũ các mô hình tác vụ chuyên biệt. Nhờ mô hình này, có thể xây dựng và triển khai nhiều mô hình tùy chỉnh, mỗi mô hình được đào tạo chuyên nghiệp cho một tác vụ khác nhau mà không vượt quá ngân sách của bạn.
Google gọi các mô hình Gemma là “mở” (open), điều này khác với “mã nguồn mở” (open source). Tuy nhiên, hai tình huống này gần như tương tự nhau. Giống hệt như Gemma 3 phiên bản 12 hoặc 27 tỷ tham số, anh em có thể tải xuống Gemma mới miễn phí và các trọng số của mô hình cũng có sẵn.
Không có thỏa thuận cấp phép thương mại riêng biệt, vì vậy các nhà phát triển có thể sửa đổi, ra mắt và triển khai các phiên bản phái sinh của Gemma 3 270M trong công cụ của họ.
Nguồn:Baochinhphu.vn