phân tích tài liệu riêng tư

Các chatbot như ChatGPT, Gemini, Claude hay Grok đều có thể được truy cập một cách đơn giản qua các trình duyệt online. Tất cả đều được cập nhật liên tục về khả năng xử lý, độ thông minh và cả những tính năng mới. Song song với đó, các LLM mã nguồn mở trên thực tế cũng đã liên tục được cập nhật với khả năng không kém các model đóng do những công ty trên phát triển.

Tuy nhiên, đối với các nhu cầu phân tích các dữ liệu nội bộ nhạy cảm, việc sử dụng những dịch vụ chatbot như ChatGPT lại là một bất lợi. Cho các nhu cầu tăng tính riêng tư của dữ liệu làm việc với chatbot, chúng ta có giải pháp là tự host chatbot dùng riêng ở local để đảm bảo dữ liệu chỉ được xử lý dưới local. Mặt khác, cách làm này cũng cho phép chúng ta linh hoạt hơn trong việc chạy các model đã được fine tune kỹ theo đúng những thông tin chuyên môn mà chúng ta muốn chatbot xử lý.

Có nhiều cách chạy model dưới local, như chạy trên chính máy tính cá nhân, laptop hoặc thậm chí là chạy trên một host local do chúng ta quản lý, trên NAS cũng được luôn. Trong bài này, mình sẽ chia sẻ một cách tạo ra một chatbot cá nhân trên NAS, có thể truy cập được bằng trình duyệt trên bất cứ thiết bị nào, miễn là có kết nối vao mạng nội bộ (hoặc thậm chí là bạn nào có domain cũng có thể trỏ nó tới để truy cập remote được luôn).

2 cái chính mình sẽ sử dụng để tạo ra con chatbot trên là: