关键词：网站设计

Robots协议也叫robots.txt（统一小写），是一种存放于网站根目录下的ASCII编码的文本文件，它的作用是告诉搜索引擎蜘蛛，此网站中的哪些内容是不想被搜索引擎蜘蛛抓取的，哪些是允许被蜘蛛抓取的。