全国服务热线:4008-888-888

技术知识

什么叫robots文档?

<、/。一个网站的全部URL默认设置是Allow的,因此Allow一般与Disallow配搭应用,完成容许浏览一一部分网页页面同时严禁浏览其他全部URL的作用。


        应用 * and $ :Baiduspider适用应用使用通配符 * 和 $ 来模糊不清配对url。

        * 配对0或好几个随意标识符

          $ 配对行完毕符。


最终必须表明的是:百度搜索会严苛遵循robots的有关协议书,一定要注意区别您不愿被爬取或百度收录的文件目录的尺寸写,百度搜索会对robots中常写的文档和您不愿被爬取和百度收录的文件目录做精准配对,不然robots协议书没法起效。 实际 robots、robots.txt



在线客服

关闭

客户服务热线
4008-888-888


点击这里给我发消息 在线客服

点击这里给我发消息 在线客服