Google khuyến nghị không nên cho phép Googlebot crawl (thu thập dữ liệu) các URL trong các nút kêu gọi hành động trên website.
Nên chặn Googlebot thu thập dữ liệu ở các nút kêu gọi hành động
Chuyên gia Gary Illyes, nhà phân tích từ Google viết trên trang mạng xã hội LinkedIn:
“You should really disallow crawling of your action URLs. Crawlers will not buy that organic non-GMO scented candle, nor do they care for a wishlist.
A common complaint we get about crawling is that we’re crawling too much, which uses too much of the server’s resources (though doesn’t cause problems otherwise). Looking at what we’re crawling from the sites in the complaints, way too often it’s action URLs such as “add to cart” and “add to wishlist”. These are useless for crawlers and you likely don’t want them to be crawled.
If you have URLs like:
https://example․com/product/scented-candle-v1?add_to_cart
and
https://example․com/product/scented-candle-v1?add_to_wishlist
You should probably add a disallow rule for them in your robots.txt file. Converting them to HTTP POST method also works, though many crawlers can and will make POST requests, so keep that in mind.”
Tạm dịch:
“Bạn thực sự không nên cho phép thu thập thông tin các URL hành động của mình. Các trình thu thập dữ liệu sẽ không mua cây nến thơm hữu cơ không biến đổi gen đó và họ cũng không quan tâm đến danh sách yêu thích.
Khiếu nại phổ biến mà chúng tôi nhận được về việc thu thập thông tin là chúng tôi đang thu thập dữ liệu quá nhiều, sử dụng quá nhiều tài nguyên của máy chủ (mặc dù không gây ra sự cố nào khác). Nhìn vào những gì chúng tôi đang thu thập từ các website trong đơn khiếu nại, chúng tôi thường thấy đó là các URL hành động như “thêm vào giỏ hàng” và “thêm vào danh sách yêu thích”. Những thứ này vô dụng đối với trình thu thập dữ liệu và bạn có thể không muốn chúng được thu thập thông tin.
Nếu bạn có các URL như:
https://example․com/product/scented-candle-v1?add_to_cart
và
https://example․com/product/scented-candle-v1?add_to_wishlist
Có lẽ bạn nên thêm quy tắc disallow chúng trong tệp robots.txt. Việc chuyển đổi chúng sang phương thức HTTP POST cũng có tác dụng, mặc dù nhiều trình thu thập thông tin có thể và sẽ thực hiện các yêu cầu POST, vì vậy hãy ghi nhớ điều đó”.
Đây là thông tin rất hữu ích cho các nhà làm SEO, giờ đây chúng ta có thể tự tin để thực hiện việc chặn (disallow) bot thu thập dữ liệu trên các nút kêu gọi hành động trên website của mình.
Xem thêm: Dịch vụ SEO tại Đà Nẵng giá rẻ.
Có các loại nút kêu gọi hành động nào trên website?
Một số nút kêu gọi hành động thường được sử dụng trên website như:
– Đăng nhập/Đăng ký (URL đến trang đăng nhập/đăng ký)
– Mua ngay (URL thêm vào giỏ hàng)
– Yêu thích (URL thêm vào trang ưa thích)
– Liên hệ ngay (URL đến page liên hệ)
– Gọi ngay (URL đến số điện thoại)
– Gửi email ngay (URL đến địa chỉ email)
– URL form thu thập dữ liệu
…
Tùy theo trang đích được chuyển đến sau khi người dùng thực hiện hành động, bạn có thể tiến hành disallow nếu cảm thấy nó không cần thiết phải được thu thập dữ liệu.
Làm thế nào để disallow Googlebot thu thập dữ liệu một URL nào đó?
Các bước đơn giản sau đây có thể giúp bạn thêm các quy tắc disallow Googlebot thu thập dữ liệu một hoặc nhiều URL.
Trong file robots.txt, bạn hãy edit và thêm vào các đoạn code tương tự dưới đây:
User-agent: *
Disallow: /product/scented-candle-v1*
Sitemap: https://domain.com/sitemap.xmlDiễn giải: Chặn Googlebot thu thập dữ liệu tất cả các thành phần phía sau /product/scented-candle-v1.
Ví dụ:
- /product/scented-candle-v1?add_to_cart
- /product/scented-candle-v1?add_to_wishlist
Bạn có thể thay đổi đường dẫn phù hợp với URL website của mình.
Lưu ý: Cách so khớp có phân biệt chữ hoa – chữ thường, do vậy bạn cần thêm đúng theo nội dung chữ hoa hoặc thường trên URL.
Nếu bạn không thực hiện được việc này, bạn có thể nhờ đơn vị thiết kế website xử lý giúp bạn nhé.
Xem thêm: Dịch vụ thiết kế website chuẩn SEO tại Đà Nẵng.
Bạn cũng có thể sử dụng rel nofollow với các URL khác trên website
Đối với các URL như Gọi ngay (liên kết đến số hotline), bạn có thể áp dụng việc thêm rel=”nofollow” vào đường dẫn URL để hướng dẫn Googlebot không thu thập dữ liệu theo URL đó.
Đoạn mã ví dụ như sau:
<a href="tel:0912345678" rel="nofollow">Gọi ngay</a>Hoặc đối với URL gửi email:
<a href="mailto:[email protected]" rel="nofollow">[email protected]</a>Phần tổng kết
Hãy áp dụng linh động và hợp lý trong việc disallow Googlebot thu thập dữ liệu URL của các nút kêu gọi hành động trên website hoặc các đường dẫn URL không cần thiết, điều này giúp cho bạn tiết kiệm được tài nguyên của máy chủ và tránh mất thời gian của Googlebot khi thu thập dữ liệu các page/URL không cần thiết.
Xem thêm: Các nội dung hữu ích về SEO khác tại đây.