Friday, 8 May 2026

Hướng dẫn sử dụng AnythingLLM Desktop

, No comments

AnythingLLM là một ứng dụng AI “all-in-one” để chạy mô hình AI cục bộ (local AI), chat với tài liệu PDF/Word/code, tạo AI agent và RAG mà không cần gửi dữ liệu lên cloud. Nó hỗ trợ kết nối với Ollama, OpenAI, LM Studio, Claude… (AnythingLLM)


1. Tải và cài đặt

Trang chính thức

AnythingLLM hỗ trợ:

Sau khi tải:

  1. Chạy installer

  2. Mở ứng dụng

  3. Chọn model AI muốn dùng

2. Có 2 cách dùng phổ biến

Cách A — Dùng AI online (nhanh nhất)

Phù hợp nếu:

  • Muốn dùng GPT-4o / Claude / Gemini

  • Máy yếu

  • Không muốn tải model nặng

Thiết lập

Vào:

Settings → LLM Provider

Chọn:

  • OpenAI

  • OpenRouter

  • Anthropic

  • Groq

  • Gemini

Sau đó nhập API key.

Cách B — Chạy AI local với Ollama (riêng tư nhất)

Đây là cách được nhiều người dùng nhất.

Bước 1: Cài Ollama

Trang chính thức:

Ollama

Sau khi cài, mở terminal/cmd:

ollama run llama3

Hoặc model nhẹ hơn:

ollama run qwen3:4b

Bước 2: Kết nối Ollama với AnythingLLM

Trong AnythingLLM:

Settings
→ LLM Provider
→ Ollama

Ứng dụng sẽ tự nhận model đang cài. (Feinberg School of Medicine)

3. Tạo Workspace đầu tiên

Workspace giống như:

  • một “bộ não”

  • hoặc “dự án AI riêng”

Ví dụ:

  • AI học Phật giáo

  • AI đọc tài liệu công ty

  • AI hỗ trợ code

  • AI nghiên cứu khoa học

Tạo workspace

  1. Nhấn New Workspace

  2. Đặt tên

  3. Chọn model AI

  4. Bắt đầu chat

4. Chat với tài liệu (tính năng mạnh nhất)

AnythingLLM nổi tiếng nhờ RAG:

Upload tài liệu → AI đọc → hỏi đáp thông minh.

Hỗ trợ:

Cách dùng

Kéo file vào workspace.

AnythingLLM sẽ:

  1. Chia tài liệu thành chunks

  2. Tạo embeddings

  3. Lưu vector database

  4. Cho AI tìm thông tin chính xác

Sau đó hỏi:

Tóm tắt file này

Hoặc:

Trong tài liệu có nói gì về vô minh?

5. Chọn model phù hợp

Máy yếu (8GB RAM)

Khuyên dùng:

  • Qwen 3 4B

  • Gemma 3 4B

  • Phi-3 Mini

Máy mạnh hơn

  • Llama 3 8B

  • DeepSeek R1

  • Qwen 14B

6. Cách tối ưu tốc độ

Nếu máy lag:

  • dùng model nhỏ hơn

  • giảm context window

  • bật GPU acceleration

Nếu Windows báo virus

Một số người gặp cảnh báo SmartScreen khi cài. Thường chỉ cần tải đúng bản x64 thay vì ARM. (Reddit)

7. Những tính năng đáng chú ý

AI Agent

AnythingLLM có AI agent tích hợp:

  • web search

  • đọc file

  • tool calling

  • MCP support

(Better Stack)

Hoạt động offline

Dữ liệu có thể chạy hoàn toàn local:

  • chat

  • embeddings

  • vector DB

  • tài liệu

(AnythingLLM)

8. Cấu hình đề xuất cho người mới

Cấu hình dễ dùng nhất

  • Ollama

  • Qwen3:4b

  • AnythingLLM Desktop

Chạy ổn trên:

  • laptop RAM 16GB

  • không cần GPU mạnh

9. Workflow cực phổ biến hiện nay

Ollama
↓
AnythingLLM
↓
Upload PDF / Docs
↓
AI hỏi đáp tài liệu

Hoặc nâng cao hơn:

AnythingLLM
+ n8n
+ MCP
+ Agents

(Reddit)

10. Khi nào nên dùng AnythingLLM?

Rất hợp nếu bạn muốn:

  • AI riêng tư

  • Chat với tài liệu cá nhân

  • Học tập/research

  • Xây AI local

  • Không muốn phụ thuộc cloud

Nếu bạn muốn, mình cũng có thể hướng dẫn tiếp:

  • Cách cài Ollama + Qwen từ đầu

  • Cách tạo AI đọc sách PDF tiếng Việt

  • Cách dùng DeepSeek R1 với AnythingLLM

  • Cách build “ChatGPT offline”

  • Cách tạo AI agent tự động hóa công việc

  • Cách tối ưu cho laptop yếu / không GPU

Share:
Read More

Dịch