新浪博客已屏蔽百度蜘蛛百度将无法抓取内容

文章内容

八 13th, 2010新浪博客已屏蔽百度蜘蛛百度将无法抓取内容

8月13日消息：今日，站长之家用户wxg8899通过新浪博客robots.txt（http://blog.sina.com.cn/robots.txt）文件发现，新浪已经在robots.txt文件中设置相关命令，屏蔽百度的蜘蛛爬虫，禁止百度蜘蛛获取网页信息。这也意味着，通过新浪博客获取百度外链的方式将不可取了。

长期以来新浪博客因其高PR、收录快的特点，一直被许多站长视为增加网站外链的宝地。新浪博客一度成为了外链推广基地，被站长作为增加外链的最好途径之一。不过这也导致了新浪博客存在大量的软文和垃圾内容。而新浪博客屏蔽百度蜘蛛将有利于改善这一问题，减少无价值内容的产生。

新浪博客robots.txt文件内容：

#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件： ~/robots.txt
# 编写：阿狼
# 日期： 2005-03-24
#####################################################

#开放百度的搜索引擎的User-Agent代码，*表示所有###########
User-agent: Baiduspider

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *

#临时限制对所有目录的禁止抓取
Disallow: /

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/

#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/

#搜索引擎User-Agent代码对照表########################
# 搜索引擎 User-Agent代码
# AltaVista Scooter
# Infoseek Infoseek
# Hotbot Slurp
# AOL Search Slurp
# Excite ArchitextSpider
# Google Googlebot
# Goto Slurp
# Lycos Lycos
# MSN MSNBOT
# Netscape Googlebot
# NorthernLight Gulliver
# WebCrawler ArchitextSpider
# Iwon Slurp
# Fast Fast
# DirectHit Grabber
# Yahoo Web Pages Googlebot
# Looksmart Web Pages Slurp
# Baiduspider Baidu

20% off Hosting at GoDaddy.com - World's largest Web host!
Domain Sale! $7.49 .com at GoDaddy
声明：本文发表于乱舞春秋(www.20blog.cn),转载请注明出处：http://www.20blog.cn/2010/08/2857.html，谢谢！有任何问题请联系QQ37750965