Để có thể thay đổi tập tin Robots.txt mặc định do Blogger tạo sẵn cho bạn. Truy cập vào Blogger - Settings - Crawlers and indexing - Enable custom robots.txt - Turn ON
Custom robots.txt for dohuytuong.com
User-agent: *
Disallow: /search
Disallow: /category/
Disallow: /tag/
Allow: /
Sitemap: https://www.dohuytuong.com/sitemap.xml
Sitemap: https://www.dohuytuong.com/sitemap-pages.xml
(code-box)
Có thể dùng một số công cụ sau để kiểm tra lại tập tin Robots.txt
- https://technicalseo.com/tools/robots-txt
- https://en.ryte.com/free-tools/robots-txt
- https://logeix.com/tools/robots-txt
- https://tamethebots.com/tools/robotstxt-checker
- https://pagedart.com/tools/robots-txt-file-checker
- ...
Chuyển từ WordPress về lại Blogger nên thêm 2 dòng Disallow: /category/ và Disallow: /tag/ để Google gỡ các kết quả index cũ từ WordPress.
* Xin vui lòng sử dụng Tiếng Việt "có dấu" nhằm hạn chế những hiểu lầm không đáng có khi để lại Nhận Xét của bạn. Tham khảo thêm †Quy Định Bình Luận -> [ Chi Tiết ]