找回密码
立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
发新帖

173

积分

0

好友

11

主题
发表于 2024-4-2 19:55:44 | 查看: 174| 回复: 0

【robots.txt】设置网站不允许被搜索引擎抓取的代码
如下:

  1. User-agent: *
  2. Disallow: /
复制代码


User-agent: *
表示所有搜索引擎蜘蛛

Disallow: /
表示禁止访问根目录所有文件


学无止境论坛免责声明
Discuz X 最新常见问题解决方案 https://www.auar.cc/thread-77402-1-1.html (出处: 学无止境论坛)
懒得打字嘛,点击右侧快捷回复 【右侧内容,后台自定义】
您需要登录后才可以回帖 登录 | 立即注册

QQ|Archiver|手机版|小黑屋|学无止境

GMT+8, 2025-2-5 12:11 , Processed in 0.109375 second(s), 20 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表