• 欢迎访问任课网网站,SEO,搜索引擎优化,网站排名,关键词优化,网络推广,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入任课网
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏任课网吧

屏蔽百度蜘蛛的方法

SEO优化 adminrkww 1个月前 (08-11) 17次浏览 0个评论 扫描二维码

如同淘宝网类似,屏蔽了百度蜘蛛抓取了淘宝网,当然我们做网站优化的一般情况下是不需要屏蔽百度蜘蛛的,但是在必要的时候,我们也会使用到屏蔽蜘蛛的时候,比如说网站的登入页面与注册页面或者是动态页面都需要通过屏蔽蜘蛛抓取。以免权重分散。下面来介绍几个屏蔽百度蜘蛛抓取的方法

淘宝屏蔽百度抓取

一、robots.txt屏蔽百度蜘蛛抓取

淘宝网就是使用了这种技术来屏蔽百度抓取的,所以我们可以看到,在淘宝网的robots文件里面有一句这样的话:

User-agent: baiduspider
Disallow: /

其目的就是屏蔽百度蜘蛛抓取淘宝网的任意一个页面,但是这种方法屏蔽的并不是很完全,我们在百度搜索“淘宝网”还是会出现官方网站的。

二、robotsMeta标签

robotsMeta标签也可以屏蔽搜索引擎抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robotsMeta用来对某几个页面单独设置时使用。其代码是写在“<head>…</head>”之间,如下所示:

<head>…

<metaname=”robots”content=”index,follow”/>

</head>

三、.htaccess屏蔽

如果说使用robor无法全部屏蔽你的网站,那么你可以.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* - [F]

方法2:

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

四、服务器屏蔽

许多空间商为了减少服务器负担,故意屏蔽蜘蛛抓取,导致网站无法被搜索引擎收录,在这里我们也可以设置利用服务器屏蔽搜索器的抓取。主要原理是分析网站日志,找到搜索引擎抓取的IP,然后对其IP进行屏蔽。但是这种方法并不是很实用,毕竟不能屏蔽单页面和修改都不是很灵活。具体方法需要参考服务器设置。

总结:方法众多,只是在这里写出来供大家参考,个人觉得最使用的还是robots文件,所以其他几种方法及时可用,但是还是建议不要去做。


任课网 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:屏蔽百度蜘蛛的方法
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址