Ngân sách thu thập dữ liệu (crawl budget) là số trang mà công cụ tìm kiếm thu thập trong một khoảng thời gian nhất định.
Bot không truy cập mọi trang mỗi ngày. Với website lớn hoặc chậm, một số trang ít được thu thập hoặc bị bỏ sót. Phần lớn website nhỏ không cần quá lo lắng về vấn đề này.
Dễ hình dung: Đây là mức thời gian và nguồn lực bot Google dành cho website trước khi chuyển sang nơi khác.
Khi nào cần quan tâm?
- Website lớn. Hàng nghìn URL cùng chia sẻ lượng truy cập có hạn của bot.
- Nhiều URL không hữu ích. Trang trùng lặp hoặc ít giá trị gây lãng phí.
- Máy chủ chậm. Phản hồi càng lâu, bot càng thu thập được ít trang.
Cách sử dụng hiệu quả
- Chặn URL không hữu ích. Dùng robots.txt để hạn chế bot truy cập những đường dẫn ít giá trị.
- Sửa lỗi. Xử lý chuỗi chuyển hướng và liên kết hỏng gây lãng phí lượt thu thập.
- Giữ sitemap gọn, chính xác. Dẫn bot thẳng đến trang quan trọng.
Câu hỏi thường gặp
Tôi có cần lo về ngân sách thu thập dữ liệu không?
Đa số website nhỏ không cần. Vấn đề chủ yếu ảnh hưởng website có hàng nghìn URL hoặc nhiều trang ít giá trị làm lãng phí lượt thu thập.
Làm sao cải thiện?
Chặn URL ít giá trị trong robots.txt, sửa chuỗi chuyển hướng và liên kết hỏng, giữ sitemap chính xác và đảm bảo máy chủ phản hồi nhanh.
Ngân sách này có ảnh hưởng thứ hạng không?
Có ảnh hưởng gián tiếp. Trang quan trọng ít được thu thập hoặc bị bỏ sót khó xếp hạng tốt. Sử dụng nguồn lực hiệu quả giúp nội dung tốt nhất được cập nhật trong chỉ mục.