Robots.txt là tệp nhỏ cho trình thu thập dữ liệu biết phần nào của website được phép và không được phép truy cập.
Tệp nằm tại yoursite.com/robots.txt. Đây là yêu cầu, không phải cơ chế khóa. Các bot tuân thủ quy tắc như Google và trình thu thập dữ liệu AI sẽ làm theo, nhưng tệp này không bảo vệ trang riêng tư.
Có thể hình dung: Đây là người hướng dẫn bot tránh những khu vực bạn không muốn thu thập dữ liệu.
Tệp này giúp ích gì?
- Tiết kiệm ngân sách thu thập dữ liệu. Giữ bot tránh xa URL ít giá trị.
- Thu thập có trật tự hơn. Ngăn thu thập trang quản trị, giỏ hàng và tìm kiếm nội bộ.
- Cần hết sức cẩn thận. Một dòng sai có thể khiến toàn bộ website bị ẩn khỏi Google.
Các quy tắc phổ biến
- Chặn URL không cần thiết. Chặn trang quản trị, giỏ hàng và tìm kiếm nội bộ.
- Không chặn CSS/JS. Google cần chúng để hiển thị trang.
- Khai báo sitemap. Thêm dòng Sitemap để trình thu thập tìm thấy tệp.
Xem hướng dẫn robots.txt của Google.
Câu hỏi thường gặp
Robots.txt có ngăn trang được lập chỉ mục không?
Không. Tệp kiểm soát việc thu thập dữ liệu, không kiểm soát lập chỉ mục. Để trang không xuất hiện trong tìm kiếm, hãy dùng thẻ noindex hoặc bảo vệ bằng mật khẩu, không dùng robots.txt.
Tệp robots.txt nằm ở đâu?
Tại yoursite.com/robots.txt. Mỗi website đều có đường dẫn này dành cho tệp, dù bạn đã tạo tệp hay chưa.
Không nên chặn gì trong robots.txt?
CSS và JavaScript. Google cần chúng để hiển thị trang; chặn chúng có thể ảnh hưởng đến cách Google hiểu và xếp hạng nội dung.