Bước 01 Sử dụng một cách hiệu quả của robots.txt

1. Sử dụng có hiệu quả robot.txt là gì?

Tệp robots.txt được sử dụng để điều hòa (kiểm soát) lưu lượng truy cập của công cụ tìm kiếm thông qua việc cho biết phần nào có thể truy cập và thu thập dữ liệu trang web của bạn.

Nếu không muốn các trang đặc biệt được hiển thị trên kết quả của công cụ tìm kiếm, bạn có thể kiểm soát chúng với robots.txt.

Nếu trang web của bạn không được hiển thị trong tìm kiếm,thì sẽ rất có ích nếu như bạn xác nhận lại xem có cài đặt robot.txt không.

2. Điều khoản khuyến khích sử dụng có hiệu quả robot.txt

① Trán cài đặt quá mức robot.txt

② Sử dụng phương pháp an toàn hơn cho nội dung nhạy cảm

③ Sử dụng công cụ miễn phí để quản lý web

3. Cài đặt robot.txt

① Cài đặt robot.txt trên  [Tùy chọn] - [Quản lý trang web] - [Cài đặt chia sẻ SEO/ SNS]