网站必备插件和网站robots协议

由于我们个人运营一个网站主流的都是使用word press程序，所以今天陈末笔记分析的插件都是word press网站的必备插件。

昨天说如何处理网站的垃圾爬虫没有说完，所以今天就先分享一个爬虫相关的插件，也是一个我建站后必装的一个插件：Smart Seo Tool。这个插件翻译过来也就是智能SEO工具，主要内容包括网站tdk的修改和编写，网站的图片优化，网站地图的生成，网站的链接优化以及robots协议的改写和编辑。而我们拒绝垃圾爬虫访问要用到的就是修改robot协议。可能很多人不知道robots协议是什么，网站robots协议就是一个你任意决定哪些爬虫可以抓取你网站的协议，很多网上教你修改robots协议的方法都是去宝塔面板后台，而且需要改代码加代码，这对小白来说很不友好，而且比较繁琐，所以我们可以直接运用网站插件可视化改写。具体改写规则如下：

User-agent: AhrefsBot
Disallow: /

上面的AhrefsBot就是一个垃圾爬虫，占用网站资源还没有任何用处，当你需要拦截其它爬虫时直接把AhrefsBot替换成其它爬虫的名字加入robot协议就可以了。这些垃圾爬虫都可以在蜘蛛分析这个插件看到，不过我建议把以下垃圾爬虫直接用robot协议拦截了，因为每天看蜘蛛爬虫爬取网站对于新站长是一个很搞心态的事情。为什么搞心态呢？因为我们最需要的是百度这个搜索引擎的排名，而百度的爬虫向来都是最懒的爬虫，没有之一，所以我们网站前三个月大概率只能看到baiduspider一天来网站一到三次甚至一次都不光顾，非常让人心烦。我建议直接一股脑把以下所有垃圾爬虫屏蔽了。

MJ12bot，SemrushBot，BLEXBot，AhrefsBot，YandexBot，domainsbot，Bytespider

解决完了爬虫问题来继续分享几个能够提高网站运营效率的必备插件。我们做网站前期都是最好做原创文章，所以为了不让我们的文章你们容易被复制我们需要一个防止复制的WPCopyRights网站防复制插件。这个插件可以让访客不能够复制插件。

我们网站的图片有一些是原创的，为了防止别人盗图我们可以用一个WordPress轻水印插件插件，完全免费，而且可以有三种添加水印的方式，这样即使有人采集你网站内容也会有你的网站的信息。

最后就是必备的seo插件WP No Category Base了，这个插件可以为你的网站添加标签，方便爬虫识别你的网站内容关键词，对网站SEO很友好。