主机论坛_虚拟主机_美国主机_美国虚拟主机_云主机技术_全球主机交流聚集地—Web Hosting Talk 中文站»论坛 › 站长之家 › WordPress/网站建设 › robots.txt是什么文件？

0 收听	3 听众	13 主题

robots.txt是什么文件？

发表于 2017-2-20 16:32:17 | 查看: 678| 回复: 1

robots.txt是干什么用的？

收藏0 回复显示全部楼层道具举报

发表于 2017-2-20 16:32:41

Robots.txt是用来告诉搜索引擎，网站里面哪些页面可以抓取，哪些页面不可以抓取。

回复显示全部楼层道具举报

Archiver|手机版|小黑屋|WebHostingTalk中文站

GMT+8, 2024-4-20 00:52 , Processed in 0.070743 second(s), 23 queries .

Powered by Discuz! X3.4

Copyright © 2001-2024, Tencent Cloud.

快速回复 返回顶部 返回列表