Website có bị AI bỏ quên không? Cách kiểm tra ChatGPT, Gemini đọc được web

Ở MONA, mỗi tháng tụi em rà soát vài chục website cho khách làm SEO và làm web. Nửa năm nay tụi em gặp một kiểu lỗi mới, lặp đi lặp lại ở đủ loại ngành: web vẫn lên Google đều, khách vẫn vào ầm ầm, nhưng các trợ lý AI như ChatGPT hay Gemini thì không đọc được một chữ nào từ website đó. Chủ web không hề hay biết. Lỗi thường nằm ở vài dòng cài đặt cũ mà đội làm web đời trước để lại, chứ không phải ai cố tình.

Chuyện này đang thành vấn đề tiền bạc thật. Mỗi tháng có hàng nghìn người bỏ thói quen gõ vào Google, quay sang hỏi thẳng ChatGPT, Gemini hay Perplexity những câu rất mua bán: “nên mua máy lọc nước hãng nào”, “công ty thiết kế web uy tín ở TP.HCM là ai”. AI đọc lại các website nó thu thập được rồi gợi ý luôn vài cái tên cho người hỏi. Website của bạn được AI đọc thì mới có cửa được nhắc tên. Bị chặn thì bạn vô hình với cả một lớp khách mới. Bài này chỉ bạn cách tự soi trong 5 phút, và cách sửa nếu dính.

AI “đọc” website của bạn bằng cách nào

Trước khi ChatGPT hay Gemini nhắc tên một website trong câu trả lời cho khách, thì hệ thống của hãng AI đó phải đọc được nội dung website từ trước, y hệt cách Google phải thu thập trang rồi mới đem ra xếp hạng. Nghe thì kỹ thuật, nhưng ý đơn giản. Việc đọc này do các chương trình tự động gọi là bot (hay crawler) làm. Mỗi hãng AI có bot riêng: OpenAI có GPTBot, Anthropic có ClaudeBot, Perplexity có PerplexityBot, Google có công tắc tên Google-Extended cho Gemini. Con bot ghé website của bạn, tải nội dung về, rồi hãng AI dùng nội dung đó để trả lời người dùng.

Chuyện này giống hệt cách Googlebot đọc web để xếp hạng tìm kiếm suốt hơn 20 năm qua. Chỉ khác là giờ có thêm một loạt bot mới của các hãng AI. Điểm mấu chốt tụi em muốn bạn nhớ: website có quyền quyết định cho bot nào vào, chặn bot nào. Quyền đó ghi trong một file tên robots.txt đặt ở gốc website. Đội kỹ thuật nào cũng biết file này. Muốn tự xem file của mình, bạn gõ vào trình duyệt dòng tenmien.com/robots.txt là ra ngay. Rất dễ thử. Nhưng phần lớn website cài file đó từ thời chưa có AI, thành ra vô tình bỏ sót hoặc chặn nhầm các bot AI mới. Quá nửa số web tụi em soi gần đây dính đúng kiểu này.

Vì sao website bị AI bỏ quên dù không ai cố ý

Tụi em rà web cho khách hoài nên gom được ba tình huống hay gặp nhất:

Một, chặn cả cụm cho “an toàn”. Nhiều đơn vị làm web sợ bot lạ làm nặng server rồi chặn hết mọi thứ không phải Google. Một dòng Disallow viết rộng tay có thể cắt luôn đường vào của GPTBot, ClaudeBot, PerplexityBot cùng lúc. Web vẫn lên Google bình thường, chủ web không thấy gì bất thường, nhưng AI thì không đọc được chữ nào. Đây là ca tụi em gặp nhiều thứ nhất.

Hai, dùng lại cấu hình cũ. Web chuyển từ nền tảng này sang nền tảng khác, đội mới bê nguyên file robots.txt cũ sang. File đó viết cách đây 4 tới 5 năm thì làm gì có tên GPTBot hay Google-Extended, vì thời điểm đó các bot này còn chưa ra đời.

Ba, cài nhầm thẻ chặn. Ngoài robots.txt còn có thẻ noindex và header X-Robots-Tag. Một trang lỡ cài nhầm thẻ này sẽ nói với mọi bot “đừng lưu tôi”, kể cả bot AI.

Điểm chung của cả ba là gì? Người chủ website không biết mình đang chặn. Giống tấm bảng ví dụ trong công cụ của MONA: một website chấm 68 điểm, có tới 8 trong 12 con bot AI quan trọng bị chặn, và tất cả chỉ vì 2 dòng luật viết sai. Muốn biết mình có dính hay không thì phải soi tận nơi, không đoán được. Cả ba kiểu, bạn chỉ cần dán vào công cụ là thấy hết.

Cách tự kiểm tra website trong 5 phút

Bạn không cần biết đọc code. Tụi em làm sẵn một công cụ miễn phí để ai cũng tự soi được: dán vào ô địa chỉ website, bấm một nút, xem kết quả. Nhanh gọn.

👉 Kiểm tra website của bạn tại đây — không cần đăng ký, không lưu địa chỉ bạn nhập, ra kết quả trong vài giây.

Công cụ trả về ba thứ dễ đọc. Thứ nhất là một điểm số từ 0 đến 100: điểm càng cao, website càng mở cửa cho AI đọc, còn điểm thấp nghĩa là đang có bot quan trọng bị chặn. Thứ hai là danh sách từng con bot kèm trạng thái cho vào hay bị chặn (GPTBot, ClaudeBot, PerplexityBot, Google-Extended và nhiều bot khác), chia theo nhóm để bạn nhìn phát biết ngay ai đang đọc được, ai không. Thứ ba là danh sách việc cần làm xếp theo mức quan trọng, kèm đoạn cài đặt bạn copy dán thẳng cho đội kỹ thuật.

Website chấm điểm cao và không bot nào bị chặn thì mừng. Nền tảng để được AI nhắc tên đã có. Có bot bị chặn thì phần dưới chỉ cách mở.

Những con bot AI tụi em khuyên bạn cho vào

Không phải bot nào cũng đáng để tâm. Đây là nhóm MONA khuyên khách ưu tiên mở, vì đây là các trợ lý đang thực sự trả lời người dùng Việt và trích dẫn nguồn:

• GPTBot và OAI-SearchBot (OpenAI) — hai con này quyết định website của bạn có vào được ChatGPT và ChatGPT Search hay không. ChatGPT là công cụ đông người Việt dùng để hỏi mua sắm, tư vấn.
• ClaudeBot (Anthropic) — cho Claude, trợ lý ngày càng phổ biến trong giới làm việc văn phòng và doanh nghiệp.
• PerplexityBot (Perplexity) — Perplexity trả lời kèm trích nguồn rõ ràng, được bot vào là có cơ hội hiện tên kèm đường link về web bạn.
• Google-Extended — đây không phải bot, mà là công tắc cho phép Gemini dùng nội dung của bạn. Mở nó không đụng gì tới thứ hạng Google Search, với đa số website cứ để mở.
• Bytespider (ByteDance/TikTok) — con này quan trọng riêng với thị trường Việt vì gắn với hệ TikTok, nơi rất nhiều khách trẻ đang ở.

Muốn hiểu từng con bot làm gì, ai vận hành, nên mở hay nên chặn, bạn xem Thư viện bot — tụi em viết hồ sơ tiếng Việt cho từng con.

Cách sửa robots.txt để mở cửa cho AI

Công cụ báo có bot bị chặn thì cách mở khá đơn giản, làm chưa tới 2 phút. Bạn thêm vài dòng vào file robots.txt ở gốc website. Tụi em để sẵn đoạn dưới, bạn đưa cho người kỹ thuật dán vào là xong:

# Cho phép các trợ lý AI đọc website
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://ten-mien-cua-ban.com/sitemap.xml

Có một điều tụi em phải nói thẳng để bạn khỏi kỳ vọng sai. Mở cửa cho AI đọc mới chỉ là bước đầu. Nó cho phép AI thấy nội dung của bạn, chứ chưa bảo đảm AI sẽ nhắc tên bạn khi khách hỏi. Việc được nhắc tên còn tùy nội dung viết ra sao và website có được nguồn khác nói tới không. Đó là câu chuyện của phần cuối.

Cho AI đọc được rồi, làm sao để được AI nhắc tên

Đây là chỗ nhiều người hiểu lầm. Mở robots.txt xong, khách vẫn hỏi ChatGPT “công ty làm web uy tín” mà chẳng thấy tên mình. Vì mở cửa mới là điều kiện cần. Điều kiện đủ là nội dung website trả lời trúng câu khách hỏi, và có đủ nguồn bên ngoài (báo, diễn đàn, hồ sơ doanh nghiệp) nhắc tới thương hiệu để AI tin mà trích dẫn.

Ở MONA tụi em gọi mảng này là GEO, tức tối ưu để được các công cụ AI đọc và trích dẫn, thay vì chỉ tối ưu để lên trang Google. Bạn muốn đi tới bước đó thì có hai việc làm tiếp. Một, rà lại nội dung theo hướng trả lời thẳng câu khách hỏi, xem checklist GEO tụi em công bố. Hai, đo xem hiện tại AI đang nhắc thương hiệu bạn ở mức nào so với đối thủ, đây là việc tụi em làm giúp trong dịch vụ GEO của MONA. Bạn dán vào công cụ để đo mức hiển thị hiện tại, hoặc để lại số thì đội GEO của MONA gọi lại trong 1 ngày làm việc.

Câu hỏi thường gặp

Chặn bot AI thì có bị tụt hạng Google không?

Không hề. Bot AI (GPTBot, Google-Extended…) tách riêng với Googlebot xếp hạng tìm kiếm. Bạn có thể chặn bot AI mà thứ hạng Google không đổi, và ngược lại, mở bot AI cũng không ảnh hưởng thứ hạng. Chính vì tách rời như vậy nên chủ web rất dễ vô tình chặn nhầm mà không nhận ra suốt nhiều tháng.

Công cụ kiểm tra của MONA có lưu địa chỉ website tôi nhập không?

Tụi em không lưu gì cả. Công cụ chỉ đọc file cấu hình công khai của website bạn (robots.txt và vài thẻ) rồi trả kết quả ngay. Bạn không cần đăng ký hay để lại email gì cả.

Tôi nên mở cho tất cả bot AI hay chọn lọc?

Với đa số doanh nghiệp muốn được khách tìm thấy qua AI, mở cho nhóm trợ lý đang trả lời người dùng (ChatGPT, Claude, Perplexity, Gemini) là hợp lý. Đa số cứ mở hết. Chỉ cân nhắc chặn nếu bạn có lý do riêng về bản quyền nội dung.

llms.txt là gì, có cần không?

Là một file mô tả website cho AI đọc, đặt ở gốc web. Chưa hãng AI lớn nào xác nhận bắt buộc đọc file này. Nhưng nó tốn 5 phút để thêm và không hại gì, cứ xem như một bước chuẩn bị sớm. Công cụ của MONA kiểm tra luôn website bạn đã có file này chưa.

Kiểm tra xong thấy có bot bị chặn, tôi tự sửa được không?

Được, nếu bạn có người kỹ thuật quản website. Chỉ cần dán đoạn cài đặt ở trên vào file robots.txt. Website đang do đơn vị khác giữ hoặc bạn không rành thì MONA rà và sửa giúp.

Nhiều chủ doanh nghiệp đã tự mở robots.txt, thêm llms.txt, đọc vài bài về GEO rồi vẫn thấy AI im lặng không nhắc tên mình, vì mở cửa cho AI đọc và được AI trích dẫn là hai việc khác nhau, việc sau cần nội dung đúng và nguồn ngoài đủ mạnh. Đó là phần MONA làm mỗi ngày: tụi em soi website của bạn, đo xem AI đang nhắc bạn hay nhắc đối thủ, rồi vạch đường để tên bạn xuất hiện trong câu trả lời của ChatGPT và Gemini.