代码如下:
User-agent: * Disallow: / Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /cache/ Disallow: /class/ Disallow: /images/ Disallow: /include/ Disallow: /install/ Disallow: /kernel/ Disallow: /language/ Disallow: /templates_c/ Disallow: /themes/
另外介绍下robots:
User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。
例如:User-agent: Googlebot (还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。) Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。
Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.
Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url 当然也可以对其他文件进行设置 例如:(Allow: .jpg$).
Disallow: .jpg$ 则相反.
代码如下:
另外介绍下:User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。例如:User-agent: Googlebot
(还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。)
Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url 当然也可以对其他文件进行设置 例如:(Allow: .jpg$).Disallow: .jpg$ 则相反.
参考网站:http://www.robotstxt.org/
原创文章,转载请注明: 转载自Martin
本文链接地址: xoops robots 写法 以及robots规则简单介绍
相关推荐
本教程对XOOPS进行了详细的介绍,让您对XOOPS有了一个具体的了解。
通过图文结合的方式详细的介绍了XOOPS的安装过程。
xoopsxoopsxoops
这是目前最新的xoops版本。感觉很好用。功能很强大。希望有更多的人使用。最好是非计算机专业的人用。
开源CMS程序XOOPS的2.0.14简体中文版
xoops建立门户网站的一些经验教程,php程序
XOOPS是eXtensible Object Oriented Portal System的缩写,直译为面向对象的可扩展门户系统,是一个强大的基于web的内容管理平台。 XOOPS 2.5.7 Final 发布,此版本完全兼容 PHP 5.5,其他包括安全更新,bug 修复...
JOOMLA XOOPS 的环境配置手顺
一个xoops模块的详细开发例子.
详细讲解了XoopS模块开发中的一个基本的文件结构。
详细介绍了XOOPS模板的安装与卸载,如何在导航菜单中隐藏一个已安装的模块,如何更新一个模组。
Xoops 是一个强大的web管理平台 Xoops 稳健灵活、扩展性强、安全快速的性能被各类应用对象所认同接受,应用遍及各个领域。
软件介绍 XOOPS 2.3 的目的是融合 XOOPS 2.0 和 XOOPS 2.2 两个系列,为我们下一代的 XOOPS 3.0 打好基础。 随着 XOOPS 2.3 的发布,用户将会可以体验 XOOPS 3.0 中的一些新特性,开发者将会更好的理解XOOPS的开发...
Hack内容:多账户保存密码、扩展XOOPS内置码
xoops-2.3.3. XOOPS开发组很高兴得宣布XOOPS 2.3.3 RC的发布
详细的介绍了使用XOOPS应用程序接口 ,如:XOOPS ORM的使用指南,基于XoopsObject的数据存取类,以及XOOps ORM应用实例。
对XOOPS的内容管理进行了详细的介绍,以及对如何在XoopS里装载独立的外部应用程序与如何找到一个合适的内容模块做了详细的讲解。
详细介绍了在xoops的基础上如何开发自己的模块!
详细介绍了Xoops XML远程过程调用的方法,以及一些容易出错的地方。