[导读]：我在robots设置 User-agent: * Disallow: /sell/warehouse/?* 但是统计上，还能看到蜘蛛爬，网址/sell/warehouse/?precat=11azs=190secsys=75hanequ=56 这样的链接。是不是设置了两天，还没生效。 应该是...
我在robots设置
User-agent: *
Disallow: /sell/warehouse/?*
但是统计上，还能看到蜘蛛爬，网址/sell/warehouse/?precat=11&azs=190&secsys=75&hanequ=56
这样的链接。是不是设置了两天，还没生效。
应该是蜘蛛已经爬过了你才设置的吧。或者是因为你Robots设置的无效
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/42425.html
