58问答库 > robots.txt使用中网站中哪些内容是可以禁止搜索引擎索引的而更利于优化的？

robots.txt使用中网站中哪些内容是可以禁止搜索引擎索引的而更利于优化的？

2025-05-23 12:43:35

推荐回答（4个）

回答（1）：

一般网站中不需要搜索引擎抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
比如下面这个robots.txt：
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件

回答（2）：

这么怎么说呢，当然是搜索引擎越多的访问网站上的内容越好
你要禁止访问，最多只是积累下网站的权重而已，不被不重要的页面所分去权重
一般联系方式，备案之类的是可以禁止的

回答（3）：

disallow:/tempweb/说明不允许收录tempweb里的所有文件。
disallow后添加不允许收录的文件名

回答（4）：

利于优化

robots.txt使用中 网站中哪些内容 是可以禁止搜索引擎索引的 而更利于优化的？

robots.txt使用中网站中哪些内容是可以禁止搜索引擎索引的而更利于优化的？