什么是robots文件,了解robots文件的作用和内容
什么是robots文件 Robots文件，全名为Robots Exclusion Protocol，即“网络爬虫排除标准”，是一种用于告知搜索引擎蜘蛛（Web Robots）哪些页面可以抓取，哪些页面不可以抓取的文本文件，它通常被命名为robots.txt ，并放置在网站的根目录下。 robots文件的作用 1、保护隐私 ：通过robots文件，网站可以阻止搜索引擎抓取和索引某些包含敏感信息的页面。 2、节省带宽 ：阻止不必要的页面被搜索引擎抓取，从而节省服务器带宽。 3、提高爬取效率 ...
