[导读]：1.接手的网站是新改版的，之前有些内容是历史遗留下来的已经收录现在是404页面。我的处理方法是提交死链接给百度站长删除，还有就是将旧网站死链接的栏目进行了robots处理...
1.接手的网站是新改版的，之前有些内容是历史遗留下来的已经收录现在是404页面。我的处理方法是提交死链接给百度站长删除，还有就是将旧网站死链接的栏目进行了robots处理。
2. 查看蜘蛛日志反馈的是robots.txt是404 。并且都是宜搜蜘蛛，抓取的全部是旧网站的目录反馈全部是404. 百度抓取是200正常。
想问下宜搜蜘蛛是不是应该屏蔽掉，宜搜抓取的旧网站的目录是不是也该robots掉。
不明白的是为什么收录快照都是正常，robots是404. 自己robots可以正常打开的啊
3.今天收到百度站长平台的提示： 网站重要目录对百度进行封禁是什么意思？
宜搜能给你网站带来多少流量？现在网站的流量基本可以说都来自百度、360、搜狗搜索引擎。所以建议可以直接屏蔽了宜搜的。
###宜搜蜘蛛可以屏蔽。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/21787.html
