辉煌电商SEO内测

百度关键词优化三天上首页!同行都是朋友, 欢迎一起互利共赢。谢绝一切非正规行业服务,感谢以下同行、团队、平台和代理的支持:

百度站长平台、MIP开发小组、SEO焦大老友、SEO每天一贴ZAC大哥、卢松松大哥、海瑶SEO兄弟、附子SEO兄弟、探索者SEO、帮站SEO好友、互点宝、超快排平台

百亿互刷宝、下拉天下、SEO自学网、SEO研究中心、小明SEO、王德春SEO、马海祥博客、踏雪无痕挂机工作室、SEO云优化好友、云客网、杭州思亿欧、网赚吧、北京SEO韩非老弟

需要了解以上同仁的相关信息,我们已经给你做好了搜索框,看右上角绿色那个,输入搜索即刻直达

网站统计: 共有读稿:14434部 / 今日更新:篇 / 评论:19条 / 会员:75 名 / 阅读:949628
您好,请 【登陆】/【注册】
软件内容页横幅广告
您现在的位置:SEO平台 > SEO技术学习 >

如何恰当的使用和区分ROBOTS和NOFOLLOW?

2018.04.20

浏览:

【导语】如果您觉得本篇内容还不错,请点击文章下面的赞,然后分享给朋友哦!...

如何恰当的使用和区分ROBOTS和NOFOLLOW?...请看详情...

seo

seo

3014165_ECEA210AFF5E6DC8C842ADD1B563D770.jpg

以前觉得,网页上面不需要的URL,我用robots屏蔽就行了。可是事实上并不是这样。在GWT的Crawl Errors中,会出现Restricted by robots.txt这样的错误。很奇怪,我用robots屏蔽了,为何还算做crawl errors呢?
  我拿我自己的网站为例,我们的内页是www.mydomain.com/A/1.html在这个页面上有很多链接,其中有
  www.mydomain.com/A/1/similar1.html
  www.mydomain.com/A/1/similar2.html
  这两个链接是我不想让搜索引擎爬行的。
  原先只有similar1.html在网页上出现,我用robots屏蔽后,GWT里面出现了很多REstricted by robots.txt这样的错误,错误的链接都是/A/*/similar1.html然后再之后一次网站改版时,我将这个链接nofollow掉了,但是为了实现某些功能,前台程序员们又加上了www.mydomain.com/A/1/similar2.html这样的链接,我在第一时间内将其robot.txt。然后这时候我回头看GWT里面的crawl errors。所有的Restricted by robots.txt的条目都变成了similar2.html,而原先的similar1.html消失了。
  我记得国平老师似乎曾经说过,就算你用robots.txt禁止了某类URL,蜘蛛依旧会去探测这个URL。同时Google官方也确认,网站的每日爬行数量和PR有一定关系,那在我PR一定的情况下,我每天被爬行的URL数量是一个差不多定值。然后这类被robots.txt禁止的URL被蜘蛛探测,依旧会占用其他正常URL的探测机会。只有当使用了nofollow后,才能让蜘蛛彻底的不理睬这个URL,放在我上面的例子中来说,当蜘蛛来到/A/1.html页面后,它检查这个页面的链接信息,发现了similar1.html和similar2.html这两个URL,如果没有nofollow,那它会探测这两个URL, 当发现这两个URL被robots禁止后,会返回google官方服务器一个数据,这两个URL不能爬行。但是如果加上了nofollow,那蜘蛛可能连探测都不会去探测它是否遵循robots.txt,而是直接去请求下面的链接了。
  因此nofollow的运用,是提高蜘蛛效率的最佳工具,而robots.txt和meta标记,只是为了减少网页重复和垃圾信息的量。可以说是完全两个用途。当然,配合起来使用,可以让网站被搜索引擎爬行得更多,更好。

0
赞一个
关键词: robots nofollow
☆喜欢这篇文章吗?分享给你的好友吧!点击这里复制网址☆
共有27人阅读,期待你的评论!评论
请先登陆后才能发表评论哦!没账号?赶紧注册一个吧!
最新评论
热门标签
回到顶部