新程序 发表于 2025-5-27 16:22:05

通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
User-agent: Baiduspider
Disallow: /

User-agent: 360Spider
Disallow: /

User-agent: YisouSpider
Disallow: /屏蔽全部蜘蛛
User-agent: *
Disallow: /

骆贵 发表于 2025-10-19 22:09:24

前排留名，哈哈哈

杓疠? 发表于 2025-10-21 00:47:42

分享、互助 让互联网精神温暖你我

寥唏 发表于 昨天 15:44

鼓励转贴优秀软件安全工具和文档！

班嘉淑 发表于 昨天 20:59

懂技术并乐意极积无私分享的人越来越少。珍惜
页: [1]
查看完整版本: 通过robots.txt文件屏蔽搜索引擎蜘蛛