Hướng dẫn tạo file robot txt cho website

Robots.txt thuộc một dạng văn bản chứa mã lệnh điều hướng bots công cụ tìm kiếm vào website của bạn. Bạn đang phân vân không biết nên tạo và sử dụng file Robots.txt như nào cho hợp lý và hiệu quả. Dưới đây là cách tạo Robots.txt nhanh và đơn giản nhất.  

Kết quả hình ảnh cho Tạo robot.txt cho website

Tạo robot.txt cho website

>>> Xem thêm: kiểm tra domain – Tìm hiểu dịch vụ tên miền Nhân Hòa tốt hàng đầu thị trường

  1. Cách tạo file Robots.txt

Trước tiên muốn sử dụng được file Robots.txt để tiến hành điều hướng bots công cụ tìm kiếm để có thể đẩy mạnh kết quả SEO thì cần tạo file Robots.txt trước tiên.

Mở notepad chèn một số mã lệnh:

  • Allow: /media/: cho phép bot vào thư mục trang nào đó
  • Disallow: /wp-includes/
  • User-agent: Xác định bots của công cụ tìm kiếm
  • Sitemap: http://tenten.vn/sitemap.xml
  • Disallow: /wp-admin/: chặn bot truy cập trang quản trị

Kết quả hình ảnh cho Cách tạo file robot.txt cho website

Cách tạo file robot.txt cho website

>>> Xem thêm: hosting việt nam – Tìm hiểu dịch vụ hosting giá tốt hàng đầu thị trường

Lưu ý: Với những thư mục nào ta không cần index thì có thể chặn vào bots vào thư mục còn đối với những thư mục cần index thì nên để cho phép truy cập nhé.

Sau đó quý vị có thể vào webmaster tool để cập nhật lại file và kiểm tra xem đã tạo thành công hay chưa nhé.

  1. Cách sử dụng file Robots.txt

Để có thể tiến hành sử dụng được file Robots.txt quý vị hãy tiến hành dựa theo một số hướng dẫn sau để có thể sử dụng hiệu quả.

– Không cho phép bot truy cập vào thư mục nào mà mình không muốn

Trong một số trường hợp không cho phép bots truy cập vào một thư mục nào đó sẽ có câu lệnh “Disallow” hoặc cho phép truy cập sẽ có dòng lệnh “Allow”.

– Loại bỏ 1 ảnh từ Google Images

User-agent: *

User-agent: Googlebot-Image

Disallow: /includes/

Disallow: /admin/

Disallow: /images/hinh.png

Tại đây không cho phép truy cập các thư mục như: includes, admin, images. CÒ tất cả các bots khác đều được phép truy cập bình thường.

– Khóa toàn bộ website không cho bot đánh chỉ mục

User-agent: *

Disallow: /

Không cho phép bot truy cập vào tất cả các tài nguyên trên website của bạn.

Sử dụng đồng thời “Allow” và “Disallow” cùng nhau

Allow: /vidu/chi-demo-thoi-nha.html

Disallow: /vidu/

User-agent: Googlebot

Chặn bots truy cập vào tài nguyên Vidu và cho phép truy cập vào file chi-demo-thoi-nha.html.

  1. Một số lưu ý cần tránh khi sử dụng file Robots.txt

Khi các bạn tiến hành tạo file Robots.txt hoặc sử dụng một file Robots.txt nào đó mới đầu sẽ khó tránh hỏi những sai sót. Dưới đây chính là một số lỗi cơ bản hay mắc phải khi tạo và sử dụng file Robots.txt.

  • Phân biệt chữ in hoa và chữ thường
  • Mỗi câu lệnh đều được viết cùng một dòng
  • Không được để dư thiếu khoảng trắng
  • Không chèn thêm bất kì ký tự nào khác ngoài câu lệnh.

Trên đây là cách tạo file Robots.txt và cách sử dụng cho website. Nếu quý muốn thêm file Robots.txt vào website để đẩy mạnh kết quả tìm kiếm thì có thể tham khảo tư vấn. Hi vọng với những chia sẻ này có thể giúp quý vị tạo file Robots.txt và sử dụng hiệu quả.

>>> Xem thêm: vps viet nam – Tìm hiểu dịch vụ tại Nhân Hòa với ưu đãi tốt hàng đầu thị trường