技术文档配置文件公告文件_robots.txt_

一、robots.txt **概念：**robots.txt是网站管理者写给爬虫的一封信，里面描述了网站管理者不希望爬虫做的事，比如：不要访问某个文件、文件夹，禁止某些爬虫的访问，限制爬虫访问网站的频率 ...