Chức năng giới hạn tốc độ thu thập dữ liệu (Googlebot crawl rate) sẽ ngừng hoạt động vào ngày 8 tháng 1 năm 2024 vì Google cho biết nó không còn hữu ích nữa.
Google sẽ ngừng chứng năng giới hạn tốc độ thu thập dữ liệu trong Google Search Console vào ngày 8 tháng 1 năm 2024. Google cho biết tính năng này không còn hữu ích vì họ đã cải tiến việc thu thập dữ liệu và có các công cụ khác cho nhà xuất bản.
Googlebot crawl rate là một chức năng trong phiên bản cũ của Google Search Console, nó cho phép Google thu thập dữ liệu website ít hơn so với mức hiện tại. Trước đây, Google đã khuyến cáo không nên hạn chế tốc độ thu thập dữ liệu trừ khi website gặp sự cố tải do Googlebot thu thập dữ liệu quá mạnh từ máy chủ.
Chức năng này cũng hiếm khi được các chủ sở hữu website sử dụng.
Đoạn trích từ thông báo của Google:
“Googlebot phản ứng với cách trang web – hay cụ thể hơn là máy chủ xử lý trang web – phản hồi các yêu cầu HTTP của Googlebot. Ví dụ: nếu máy chủ liên tục trả về mã trạng thái 500 HTTP cho một loạt URL, Googlebot sẽ tự động và gần như ngay lập tức làm chậm quá trình thu thập dữ liệu. Tương tự, Googlebot tự động chậm lại nếu thời gian phản hồi yêu cầu dài hơn đáng kể. Nếu bạn gặp phải tình trạng thu thập dữ liệu nặng bất thường mà trang web của bạn không thể tự quản lý được, hãy tham khảo bài viết trợ giúp này .
Ngược lại, công cụ giới hạn tốc độ có tác dụng chậm hơn nhiều; trên thực tế, có thể phải mất hơn một ngày để áp dụng các giới hạn mới khi thu thập dữ liệu. Tuy nhiên, may mắn thay, chủ sở hữu trang web hiếm khi phải sử dụng công cụ này và trong nhiều trường hợp, những người đã đặt tốc độ thu thập dữ liệu ở mức tối thiểu. Với việc ngừng sử dụng công cụ giới hạn thu thập dữ liệu, chúng tôi cũng sẽ đặt tốc độ thu thập dữ liệu tối thiểu ở mức thấp hơn, tương đương với giới hạn tốc độ thu thập dữ liệu cũ. Điều này có nghĩa là chúng tôi tiếp tục tôn trọng các cài đặt mà một số chủ sở hữu trang web đã đặt trước đây một cách hiệu quả nếu mức độ quan tâm Tìm kiếm thấp và trình thu thập thông tin của chúng tôi không lãng phí băng thông của trang web.
Do những tiến bộ trong việc xử lý tốc độ thu thập dữ liệu tự động và với tinh thần giữ mọi thứ đơn giản cho người dùng, chúng tôi sẽ ngừng sử dụng công cụ này trong Search Console. Chúng tôi đang giữ biểu mẫu báo cáo Googlebot để báo cáo các hoạt động bất thường của Googlebot và cho các trường hợp khẩn cấp, nhưng hãy nhớ rằng cách nhanh nhất để giảm tốc độ thu thập dữ liệu là hướng dẫn Googlebot thông qua các phản hồi của máy chủ như được nêu chi tiết trong tài liệu của chúng tôi“.