新网站 Robots 和 SiteMap 优化

新网站Robots和SiteMap优化什么是robots.txtrobots.txt是网站管理者写给爬虫的一封信,里面描述了网站管理者不希望爬虫做的事,比如:不要访问某个文件、文件夹禁止某些爬虫的访问限制爬虫访问网站的频率一个自觉且善意的爬虫,应该在抓取网页之前,先阅读robots.txt,了解并执