讲解对象：Robots 协议 作者：融水公子 rsgz
实质：网站与搜索引擎蜘蛛的君子协议 位置：在站点根目录创建 robots.txt 作用：告诉搜索引擎网站的哪些路径和内容是否允许或者不允许被搜索引擎抓取 升级：百度搜索对 robots 协议的支持有了权限的升级 目的：为了优化对网站视频 URL 的收录抓取
规则： 1 网站包含不希望被视频搜索引擎收录的内容时，才需要使用 robots.txt 文件 2 希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件
百度建议：勿建立 robots.txt 文件
个人建议：建立 robots.txt 文件 原因：很多的开源程序都是有后台目录或路径，以及缓存、图片、视频、api 等接口目录等等，这些不希望百度抓取吧
|
