日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？

不用屏蔽，没什么影响

影响不大的话不需要，不过看你个人，觉得屏蔽更好就屏蔽掉吧。

量不大 可以不用管

先看下抓取的蜘蛛是不是百度，有的网站后台不严谨是有漏洞的，很多都是虚假的抓取。

真是的抓取如果和页面无关的话，可以选择Robots屏蔽。

你先看下抓取的蜘蛛是不是百度，有的网站后台不严谨是有漏洞的，很多都是虚假的抓取。

真是的抓取如果和页面无关的话，可以选择Robots屏蔽。

忘记上图了不好意思......

1、日志分析，看看蜘蛛爬行的都是那些页面，返回码是什么？

2、如果蜘蛛爬行了1000次，800多次都是在抓取非网页的url，那么可以通过Robots屏蔽，如果抓取的次数并不是太多可选择不屏蔽；

3、robots disallow是可以根据自己的需求来屏蔽不想被蜘蛛爬行抓取的页面。

根据你的需求，分析多日的网站数据来判断，如果影响不算大，可不必屏蔽，日常做好引蜘蛛做外链、日常更新提交URL给百度站长。

这个影响不大