robots.txt

在《WordPress 屏蔽恶意搜索，防止被搜索引擎收录恶意搜索结果》中，倡萌提到了网站被恶意搜索攻击，已经给出了一些处理方案，但是最近查看 Google Search Console 的覆盖率，看到了“已编入索引，尽管遭到 robots.txt 屏蔽”的警告，一看具体的网址，几万条全部都是恶意搜索结果。 查看了google官方文档《已编入索引，但被 robots.txt 屏蔽了》，了解到通过 r…

稍微接触过SEO的站长朋友都应该知道 robots协议（也称为爬虫协议、爬虫规则、机器人协议等），也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。 如果你的网站根目录还没有 robots.txt，你可以创建一个，具体的写法请参考 百度百科。下面是一个基本的 WordPress  robots…