邢台奥祥网络网站建设
 
24小时咨询热线:
  专注于高品质网站建设系统开发、系统制作、网站维护、网站推广营销、软件开发、微信开发
   

如何设置robots文件??

发布日期:2014-8-29 21:21:03
例1. 禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件    User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")    User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站    User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站    User-agent: Baiduspider
Allow: /User-agent: *
Disallow: /
例5. 仅允许Baiduspider以及Googlebot访问    User-agent: Baiduspider
Allow: /User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
例6. 禁止spider访问特定目录 
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。    User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 允许访问特定目录中的部分url    User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例8. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。    User-agent: *
Disallow: /cgi-bin/*.htm
例9. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。    User-agent: *
Allow: /*.htm$
Disallow: /
例10. 禁止访问网站中所有的动态页面    User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。    User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片    User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 仅禁止Baiduspider抓取.jpg格式图片    User-agent: Baiduspider
Disallow: /*.jpg$
 
上一条: Now()函数 输出日期时间带有"上午、下午"的彻底解决办法 下一条: ASP网站判断手机访问网站自动跳转的代码


奥祥网络 服务项目 系统开发 联系我们 在线反馈
邢台做网站公司
邢台网站制作公司
邢台网站优化公司
邢台网站建设公司
邢台系统开发公司
品牌网站建设
网站改版
手机网站制作
微信网站制作
网站百度排名

邢台学生社团报名系统开发
物业报修系统开发
邢台在线答题系统开发
邢台投票系统开发
邢台短信平台

电话:15081754822
QQ:125856421
Email:125856421@qq.com
NAME
TEL
   业务咨询
 给邢台做网站公司奥祥网络发信息 在线客服
 给邢台做网站公司奥祥网络发信息 在线客服
 在线客服
15081754822