Hướng dẫn tạo và sử dụng file robots.txt để tối ưu SEO trên blogspot

File robots.txt là một tập tin văn bản đặc biệt được sử dụng để hướng dẫn các robot tìm kiếm về cách truy cập và ghi lại nội dung trên một trang web.

Bạn có thể sử dụng file robots.txt để tối ưu SEO trên Blogspot bằng cách chặn các trang hoặc thư mục cụ thể không muốn các robot tìm kiếm index hoặc ghi lại.

Cách cấu hình file robots.txt chuẩn SEO trên blogspot.

Hiện tại, người dùng đã có thể tùy chỉnh robot.txt trên trang Blogger của mình. Trong tùy chọn tìm kiếm Blogger thường sẽ liên quan đến nhãn và tiêu đề của bài viết, do đó nếu người dùng không sử dụng nhãn và tiêu đề đúng cách trên mỗi bài đăng, thì việc thu thập thông tin của liên kết tìm kiếm sẽ không hoạt động hiệu quả.

Theo mặc định của trang Blogger, thì liên kết tìm kiếm sẽ không được phép thu thập dữ liệu của người dùng. Còn trong file robots.txt này, bạn cũng có thể tạo vị trí của file sơ đồ trang web của mình. Sơ đồ trang web là một file nằm trên máy chủ chứa tất cả các permalinks của trang web hoặc blog, chủ yếu là sơ đồ trang web với định dạng XML, tức là sitemap.xml.

Hướng dẫn thêm file robots.txt chuẩn SEO cho blogspot

Để tạo file robots.txt trên Blogspot, hãy thực hiện các bước sau:

1. Truy cập vào trang quản lý blog của bạn.
2. Chọn "Cài đặt" và kéo xuống phần "Trình thu thập thông tin và lập chỉ mục".
3. Bật và Nhập nội dung vào file robots.txt.
4. Lưu file robots.txt.

Các loại Robots.txt

Ở thời điểm hiện tại, Blogger đang hoạt động trên sitemap.xml và sẽ thu thập các mục sơ đồ trang web thông qua nguồn cấp dữ liệu. Theo phương pháp này, 25 bài đăng gần đây nhất trên trang blog của bạn sẽ được gửi đến các công cụ tìm kiếm. Nếu bạn muốn các công cụ tìm kiếm chỉ hoạt động trên 25 bài đăng gần đây nhất thì bạn nên sử dụng robot.txt loại 1 sẽ được mình giới thiệu dưới đây. Nếu bạn sử dụng robot.txt loại này, thì công cụ Google Adsense sẽ được phép thu thập dữ liệu của toàn bộ trang blog để có hiệu suất hoạt động Adsense tốt nhất.

Robots.txt loại 1

Lưu ý là người dùng có thể thay đổi file robots.txt mặc định của trang Blogspot như sau:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.anhtrainang.com/sitemap.xml

Robots.txt loại 2

Nếu bạn muốn các công cụ tìm kiếm thu thập dữ liệu 500 bài đăng gần đây nhất trên trang blog của mình, thì bạn nên sử dụng loại robot.txt thứ 2. Nếu bạn đã có hơn 500 bài đăng trên blog của mình, thì bạn có thể thêm một dòng sơ đồ trang web được in đậm màu đỏ.

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.anhtrainang.com/feeds/posts/default?orderby=updated

Lưu ý: Bạn đừng quên thay đổi địa chỉ https://www.anhtrainang.com bằng địa chỉ blog của bạn hoặc tên miền tùy chỉnh.

Robots.txt loại 3

User-agent: Mediapartners-Google
Disallow: ;
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=501&max

Lưu ý: Bạn đừng quên thay đổi địa chỉ https://www.anhtrainang.com/ bằng địa chỉ blog của bạn hoặc tên miền tùy chỉnh.

Công thức toán học cho các mục nhập sơ đồ trang web của robot robots.txt như sau:

Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=(m*0)+1&max-results=m
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=(m*1)+1&max-results=m
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=(m*2)+1&max-results=m
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=(m*3)+1&max-results=m
.
.
.
Sitemap: https://www.anhtrainang.com/atom.xml?redirect=false&start-index=(m*n)+1&max-results=m

Trong đó m = 500 và n = 1, 2, 3, 4,...n. Nếu bạn đã có kinh nghiệm về tối ưu hóa công cụ tìm kiếm (SEO), thì bạn có thể xóa dòng lệnh sau:

Disallow: /search

Nếu bạn không muốn các công cụ tìm kiếm thu thập dữ liệu từ một bài đăng hoặc một trang blogger cụ thể nào đó thì hãy nhớ các dòng lệnh sau:

Đối với một bài đăng cụ thể thì thì thêm dòng sau:

Disallow: /yyyy/mm/post-name.html

Đối với một page cụ thể thì thêm dòng sau:

Disallow: /p/page-name.html

Kết luận

Vậy là mình đã vừa hướng dẫn các bạn cách sử dụng Robots.txt tùy chỉnh trên Blogspot đơn giản nhất. Mong rằng bài viết này sẽ hữu ích đối với các bạn. Chúc các bạn thực hiện thành công!