Robots协议也叫robots.txt(统一小写),是一种存放于网站根目录下的ASCII编码的文本文件,它的作用是告诉搜索引擎蜘蛛,此网站中的哪些内容是不想被搜索引擎蜘蛛抓取的,哪些是允许被蜘蛛抓取的。
在线 客服
千博在线客服服务时间:周一至周六 9:00-17:30
客服 热线
13872885164 客户服务热线
关注 微信
有问 必答