博百优物流

　　新浪博客已屏蔽百度蜘蛛-流失高权重博客外链
　　2010-08-13日，小沐在浏览网站的时候发现新浪的robots里面已经屏蔽百度蜘蛛。这就意味着我们喜欢的博客免费外链
　　通过新浪博客robots.txt（http://blog.sina.com.cn/robots.txt）文件发现，新浪已经在robots.txt文件中设置相关命令，屏蔽百度的蜘蛛爬虫，禁止百度蜘蛛获取网页信息。这也意味着，通过新浪博客获取百度外链的方式将不可取了。
　　长期以来新浪博客因其权重高、收录快的特点，一直被许多站长视为增加网站外链的宝地。新浪博客一度成为了外链推广基地，被站长作为增加外链的最好途径之一。不过这也导致了新浪博客存在大量的软文和垃圾内容。而新浪博客屏蔽百度蜘蛛将有利于改善这一问题，减少无价值内容的产生。



#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件： ~/robots.txt
# 编写： 阿狼
# 日期： 2005-03-24
#####################################################

#开放百度的搜索引擎的User-Agent代码，*表示所有###########
User-agent: Baiduspider

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *

#临时限制对所有目录的禁止抓取
Disallow: /

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/

#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/

#搜索引擎User-Agent代码对照表########################
# 搜索引擎 User-Agent代码
# AltaVista Scooter
# Infoseek Infoseek
# Hotbot Slurp
# AOL Search Slurp
# Excite ArchitextSpider
# Google Googlebot
# Goto Slurp
# Lycos Lycos
# MSN MSNBOT
# Netscape Googlebot
# NorthernLight Gulliver
# WebCrawler ArchitextSpider
# Iwon Slurp
# Fast Fast
# DirectHit Grabber
# Yahoo Web Pages Googlebot
# Looksmart Web Pages Slurp
# Baiduspider Baidu