robots.txt 详细介绍 (简单易懂)
来源:本站原创 作者:888目录网 浏览:40次
robots.txt 详细介绍
简介
robots.txt 是一个纯文本文件,网站管理员可以通过它告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
位置和格式
- robots.txt 必须位于网站根目录下。
- 文件名必须为 robots.txt,且大小写敏感。
- 文件内容由若干条指令组成,每条指令由一个字段名和一个参数组成,字段名和参数之间用冒号隔开。
主要字段
- User-agent: 指示该指令适用于哪些搜索引擎。
- Disallow: 指示搜索引擎不要抓取的页面或目录。
- Allow: 指示搜索引擎可以抓取的页面或目录。
- Sitemap: 指示搜索引擎网站地图的位置。
示例
User-agent: * Disallow: /admin/ Disallow: /images/ Allow: / Sitemap: https://www.8t.lv/sitemap.xml
注意事项
- robots.txt 只是一个建议,搜索引擎可以不遵守。
- robots.txt 可能会影响网站的收录和排名。
- 在修改 robots.txt 之前,请务必仔细测试。
资源
- Google robots.txt 规范: https://developers.google.com/search/docs/crawling-indexing/robots/intro
- 百度 robots.txt 规范: <移除了无效网址>
- 搜狗 robots.txt 规范: <移除了无效网址>
总结
robots.txt 是一个重要的文件,可以帮助网站管理员控制搜索引擎对网站的抓取。在使用 robots.txt 之前,请务必仔细阅读相关规范。
版权所有,转载请注明文章来源:8T.Lv【888目录网】 违者将被追究法律责任
最新精彩词条
最具影响力网站推荐
888目录网
888目录网(www.8t.lv)-优秀中文网站免费收录目录站,中文网站分类目录, 免费收录各种优秀网站, 全人工审核编辑, 为百度、谷歌、有道、搜狗、必应等搜索引擎提供索引参考, 同时也能为站长们推广网站增加排名
www.8t.lv网站之家
网站之家(wz.klxjz.cn)专注于中文网站分类收录,全人工审核编辑, 为百度、谷歌、有道、搜狗、必应等搜索引擎提供索引参考, 同时也能为站长们推广网站加快搜索引擎收录和增加排名提升流量。
wz.klxjz.cn鳥説遊戯
鳥説遊戯是Steam游戏推荐及活动资讯分享平台,内容包括Steam平台正版游戏介绍,Steam平台游戏推荐,Steam平台下载介绍等.Steam游戏平台是美国电子游戏商Valve推出的数字发行平台,提供数字版权管理、多人游戏、流媒体和社交网络服务等功能。借助Steam,用户能安装并自动更新游戏。
www.niaoshuo.com加速器排行榜
加速器排行榜提供十大免费加速器软件排行,实时更新热门加速器动态,包括免费加速器,游戏加速器,手游加速器,网游加速器,网络加速器,网页加速器,加速器哪个好等所有加速器软件下载排行榜。
www.kayuwang.com蟹束阁
蟹束阁品牌,于2019年2月7日成立,总部位于南京高淳固城,属于南京蟹束阁大闸蟹有限公司旗下品牌,是以蟹束阁品牌固城湖大闸蟹、大闸蟹礼盒、大闸蟹礼券、大闸蟹礼卡、零售、团购等业务为主的大闸蟹品牌。蟹束阁从养殖、 品控 、暂养 、扎蟹、 分拣、 打包 、装车等建立起标准化大闸蟹产业链。
www.xieshuge.com