北京网站建设

全国服务热线: 400-678-5207 010-52886123 010-52535890 15901551129

  行业分类
电脑科技、手机、数码、软件
家装家具、卫浴洁具、日用品
五金建材、装饰、模具、机械
家居纺织、服装、鞋帽、皮革
鲜花、礼品、工艺品、玩具
广告设计、婚庆、摄影、影楼
家电、照明、电子、影音设备
办公文具、体育、健身
食品、茶叶、饮料、烟酒
休闲娱乐、餐饮、咖啡、茶楼
珠宝、首饰、化妆品、保养品
养生美容、休闲、家政服务
汽车、配件、摩托、电动车
电气、仪器、仪表、设备
钟表、眼镜、配件、零件
环保能源、环保生态、节能
房地产、租赁、建筑、装修
冶金、金属、零件、配件
矿产、石油、化工、原料
农业、生物技术、水产养殖
医院、药品、诊所、保健品
展览、展会、设计、庆典
传媒、印刷、包装、制造业
法律、会计、策划咨询、翻译
金融、证券、贷款典当、拍卖
家政、保洁、搬家公司
旅游、宾馆、农家乐、票务
运动、户外、宠物用品
仓储、货运、物流、租车
工业制品、橡胶、安防
维修、保养、废料回收
学校、文化、教育、培训
公司注册、商标专利
集团、贸易、货运、物流
政府机关、协会、机构
企业DIV型、利于SEO
企业半定制型、利于SEO
门户、商城、半定制型
政府门户、集团门户
学校门户、教育门户
旅游门户、农业门户
医院门户、医疗门户
商贸门户、信息门户
交友门户、分类信息网
金融、借贷类门户网站
人才、招聘类门户网站
新闻门户、论坛、其他
PHP网上商店、网上商城
EX网上商店、网上商城
EC网上商店、网上商城
HI网上商店、网上商城
NC多用户网上商店、商城
EC多用户网上商店、商城
最土团购网上商店、商城
方维团购网上商店、商城
O2O团购网上商店、商城
淘宝客、返利网、网上商城
其他网上商店、网上商城
  您所在的位置:公司动态>吐血奉献:怎嘛写好robots让权重“飞”起来(原创)!
 
吐血奉献:怎嘛写好robots让权重“飞”起来(原创)!
发布人:北京网站建设 发布时间:2003/9/20 点击:567823
 
站长地工作是设计精美地网站,为大众展现网站丰富多彩地内容。当然,我们也希望精心设计地网站获得理想地排名,这就要求我们去研究搜索引擎排名规律,最大程度地获得机会展现给客户。然而,搜索引擎种类很多,有时候,我们对某壹种搜索引擎地排名很好,却在另外地搜索引擎上面获得不到壹样地排名,原因是各个搜索引擎规则不壹样。为此,有人复制出相同地内容以应付不同搜索引擎地排名规则。然而,壹旦搜索引擎发现站内有大量克隆地页面,就会给以惩罚,不收录这些重复地页面。另壹方面,我们网站地内容属于个人私密文件,不想暴露在搜索引擎中。这时,robot.txt就是为啦解决这两个问题。

  壹、搜索引擎和其对应地User-Agent

  那么,目前有哪些搜索引擎和其对应地User-Agent呢?下面,我列出啦壹些,以供参考。

  搜索引擎 User-Agent

  AltaVista Scooter

  baidu Baiduspider

  Infoseek Infoseek

  Hotbot Slurp

  AOL Search Slurp

  Excite ArchitextSpider

  Google Googlebot

  Goto Slurp

  Lycos Lycos

  MSN Slurp

  Netscape Googlebot

  NorthernLight Gulliver

  WebCrawler ArchitextSpider

  Iwon Slurp

  Fast Fast

  DirectHit Grabber

  Yahoo Web Pages Googlebot

  Looksmart Web Pages Slurp

  贰、robots基本概念

  Robots.txt文件是网站地壹个文件,它是给搜索引擎蜘蛛看地。搜索引擎蜘蛛爬行道我们地网站首先就是抓取这个文件,根据里面地内容来决定对网站文件访问地范围。它能够保护我们地壹些文件不暴露在搜索引擎之下,从而有效地控制蜘蛛地爬取路径,为我们站长做好北京网站建设创造必要地条件。尤其是我们地网站刚刚创建,有些内容还不完善,暂时还不想被搜索引擎收录时。

  robots.txt也可用在某壹目录中。对这壹目录下地文件进行搜索范围设定。

  几点注意:

  网站必须要有壹个robot.txt文件。

  文件名是小写字母。

  当需要完全屏蔽文件时,需要配合meta地robots属性。

  叁、robots.txt地基本语法

  内容项地基本格式:键: 值对。

  壹) User-Agent键

  后面地内容对应地是各个具体地搜索引擎爬行器地名称。如百度是Baiduspider,谷歌是Googlebot。

  壹般我们这样写:

  User-Agent: *

  表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某壹个搜索引擎蜘蛛来爬行,在后面列出名字即可。如果是多个,则重复写。来源于:  武汉民生耳鼻喉医院 http://www.零贰柒msebh.com/

  注意:User-Agent:后面要有壹个空格。

  在robots.txt中,键后面加:号,后面必有壹个空格,和值相区分开。

  贰)Disallow键

  该键用来说明不允许搜索引擎蜘蛛抓取地URL路径。

  例如:Disallow: /index.php 禁止网站index.php文件

  Allow键

  该键说明允许搜索引擎蜘蛛爬行地URL路径

  例如:Allow: /index.php 允许网站地index.php

  通配符*

  代表任意多个字符

  例如:Disallow: /*.jpg 网站所有地jpg文件被禁止啦。

  结束符$

  表示以前面字符结束地url。

  例如:Disallow: /?$ 网站所有以?结尾地文件被禁止。

  肆、robots.txt实例分析

  例壹. 禁止所有搜索引擎访问网站地任何部分

  User-agent: *

  Disallow: /

  例贰. 允许所有地搜索引擎访问网站地任何部分

  User-agent: *

  Disallow:

  例叁. 仅禁止Baiduspider访问您地网站

  User-agent: Baiduspider

  Disallow: /

  例肆. 仅允许Baiduspider访问您地网站

  User-agent: Baiduspider

  Disallow:

  例伍. 禁止spider访问特定目录

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /data/

  注意事项:壹)叁个目录要分别写。贰)请注意最后要带斜杠。叁)带斜杠与不带斜杠地区别。

  例陆. 允许访问特定目录中地部分url

  我希望a目录下只有b.htm允许访问,怎嘛写?

  User-agent: *

  Allow: /a/b.htm

  Disallow: /a/

  注:允许收录优先级要高于禁止收录。

  从例柒开始说明通配符地使用。通配符包括($ 结束符;

  *任意符)

  例柒. 禁止访问网站中所有地动态页面

  User-agent: *

  Disallow: /*?*

  例捌. 禁止搜索引擎抓取网站上所有图片

  User-agent: *

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.gif$

  Disallow: /*.png$

  Disallow: /*.bmp$

  其他很多情况呢,需要具体情况具体分析。只要你啦解啦这些语法规则以及通配符地使用,相信很多情况是可以解决地。

  伍、meta robots标签

  meta是网页html文件地head标签里面地标签内容。它规定啦此html文件对与搜索引擎地抓取规则。与robot.txt 不同,它只针对写在此html地文件。

  写法:

meta name=robots content= /。

  里面地内容列出如下

  noindex - 阻止页面被列入索引。

  nofollow - 阻止对于页面中任何超级链接进行索引。

  noarchive - 不保存该页面地网页快照。

  nosnippet - 不在搜索结果中显示该页面地摘要信息,同时不保存该页面地网页快照。

  noodp - 在搜索结果中不使用Open Directory Project中地描述信息作为其摘要信息。

  陆、robots地测试

  在谷歌站长工具中,添加网站后使用左侧地抓取工具地权限,就可以对网站地robots进行测试啦,详细见图。

  robots.txt和mtea robots地内容就介绍到这里,相信大家对robot已经有啦比较详细地啦解。使用好robots对于我们网站地北京网站建设有着重要作用,做地好,可以有效地屏蔽那些我们不想让搜索引擎抓取地页面,也就是对用户体验不高地页面,从而将有利于重要词语排名地内页充分展示个客户,获得搜索引擎对站内页面地权重,从而有利于我们将重要词语排名做地更好。北京欢迎你科技有限公司原创文章,关键词:北京网站建设 北京建网站 北京网站制作 转载请注明出处:www.bjhyn.cn 谢谢!

返回
 
成功案例
中央电视台新闻中心网站建设 北京大学网站建设 北京龙发装饰网站建设 中国国际旅行社网站建设 中国联通网站建设 北大医疗网站建设 中国奥林匹克委员会网站建设 国家核电网站建设
北京网站制作 开封自助建站 北京网站建设 北京网站建设 南京网站建设 包头网站建设 南京网站制作 深圳网站设计 淮安网站建设 重庆网站建设 西安网站建设 重庆网站建设
深圳网站建设 北京网站建设 重庆网络公司 南京网站建设 北京网站制作 十堰网站建设 北京网站建设 深圳网站制作 昆山网站建设 济南网站建设 淄博网站建设 成都网站制作
黄冈网站建设 上海网站建设 佛山网站建设 昆山网络推广 北京网络公司 北京网站公司 北京网建公司 网站制作公司 北京网站设计 网站制作公司 北京网站制作 北京网站建设
首页 / 域名注册 / 网站空间 / 企业邮局 / 400电话 / 建站常识 / 网站地图 / 代理加盟 / 下载中心 / Sitemap / 付款方式 / 联系我们
版权所有:北京欢迎你科技有限公司 关键词:北京网站建设 北京网站建设公司 北京建网站 北京网站制作 北京网站制作公司 京ICP备11011491号-1
公司地址:北京市朝阳区立水桥地铁站北方明珠大厦2号楼17层1703室 服务热线:400-678-5207 010-52886123 15901551129
营业执照:110112013490467  税务登记证:110112567454943 组织机构代码证:56745494-3
经理QQ:592226900 售前QQ:571888091 售前QQ:571888316 售后QQ:710962756
您是本站第 位访问者