本节文章，甚写措置为甚么网站写了robots阻拦蜘蛛抓取，阻拦蜘蛛抓内容仍是内容收录了

有的时辰 ，我们想要阻拦搜刮引擎抓取全数网站的仍收内容，可是甚写写好了robots后 ，创作创造网站仍是阻拦蜘蛛抓收录了 ，好是内容没有效

为甚么会多么呢？因为robots有奏效时分，这个奏效时分不是仍收我们说了算，而是甚写百度说了算，rboots的阻拦蜘蛛抓奏效时分 ，快则几天，内容慢则1-2个月，仍收当我们阻拦抓取 ，甚写需求奏效时分，阻拦蜘蛛抓想让蜘蛛抓取  ，内容又需求时分 ，一来一回，就会招致我们的网站排名推迟，想想
，假定一个网站做了一到二个月，收录都不收录或不好 ，那排名又甚么时辰会有。所以，不建议阻拦抓取全数网站 。

我们在来看一下上面的一段话 ：

"百度lee曾在悍然场合说过：不合的站点略有不合 ，但凡是在几天内延续奏效。 真实我们可以想象下robots奏效的过程 ：

1. 蜘蛛创作创造robots文件改削并将信息传回 2.分化改削前后的robots文件 3.删除禁尽予被收录的索引数据 这个过程中肯能还会存在其他的一些法度圭表类型 ，可是因为每个网站蜘蛛爬的频率和网站的权重不合（网站的次要性）而招致蜘蛛创作创造robots变换的时分延时或被措置的优先性不合 ，幻想下场招致的下场就是robots的奏效时分不合
。 经由过程以上分化我们可以得出robots的奏效时分真实不是必定的 ，假定你的robots变换后良久都没有奏效的话，可以往这里歌咏 ：tousu.百度.com 不雅不雅不雅不雅鉴赏本文的人还感欢欣乐乐喜悦爱好 ：搜刮引擎对网页的大年夜小有请求吗 ？robots.txt的写法为甚么网站有收录却没有排名?为甚么网页收录了又被删除？"

如今除夜白为甚么了吧
？