Cuộc tấn công bắt đầu với một cuộc hẹn trên lịch chứa nội dung mô tả thực chất là một tập hợp các lệnh độc hại. Khi người dùng yêu cầu Gemini tóm tắt lịch trình của họ, robot sẽ xử lý sự kiện lịch đã bị “đầu độc” này. Phương pháp này đã né tránh thành công các biện pháp bảo vệ hiện có của Google, liên kết các hành động độc hại với những tương tác vô hại sau đó với Gemini. Nhóm nghiên cứu đã chứng minh rằng có thể kiểm soát bất kỳ thiết bị nhà thông minh nào được liên kết với Google như đèn, bộ điều nhiệt và rèm thông minh theo cách này.
Kỹ thuật này, được trình bày trong bài báo có tên “Invitation Is All You Need”, còn có thể được sử dụng để tạo nội dung xúc phạm, gửi thư rác cho người dùng và xóa ngẫu nhiên các cuộc hẹn trên lịch trong các tương tác tương lai. Nó cũng có thể khiến người dùng gặp phải các mối đe dọa khác bằng cách mở các trang web chứa mã độc để lây nhiễm thiết bị và đánh cắp dữ liệu. Các nhà nghiên cứu đánh giá nhiều cuộc tấn công “promptware” này là cực kỳ nguy hiểm.
Lỗi này đã được tiết lộ một cách có trách nhiệm tại hội nghị bảo mật Black Hat gần đây. Nhóm nghiên cứu đã bắt đầu làm việc với Google từ tháng 2 để giảm thiểu cuộc tấn công. Google cho biết phân tích phương pháp này đã “trực tiếp thúc đẩy” việc triển khai các biện pháp phòng thủ tấn công tiêm nhiễm lời nhắc mới vào tháng 6, bao gồm phát hiện hướng dẫn không an toàn trong lịch, tài liệu và email, cùng với xác nhận bổ sung của người dùng cho một số hành động như xóa sự kiện lịch.
Có thể thấy các hệ thống Gen AI đã phổ biến rộng rãi trong ngành công nghệ, đến mức khó có thể tránh sử dụng chúng. Mặc dù các công ty lớn như Google dành nhiều thời gian nói về an toàn AI, nhưng khả năng phát triển không ngừng của AI cũng dẫn đến sự thay đổi trong bối cảnh các mối đe dọa phần mềm độc hại, hay còn gọi là “promptware” như trong tình huống trên.
Nguồn: Arstechnica
Nguồn:Baochinhphu.vn