Cấu trúc của một file html

Seo với file robots Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site ví dụ *http://www.example.com/robots.txt. Vậy, làm thế nào để tạo ra một file robots.txt? Rất đơn giản, bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. Các dòng lệnh trong file này có cấu trúc như sau: User-agent: googlebot Disallow: /cgi-bin/ Trong đó User-agent: là đại diện của một search engine, Googlebot là spider của Google. ...

5p jupyter2425 21-03-2011 113 26   Download