有很多机器人无时无刻在爬取我们的网站,虽然在我们层层过滤后,它爬取不到什么有用的东西,但我们在查看日志还是挺闹心,那有没有什么方法呢?
最开始想的是弄一个压缩炸弹,解压后就是几十G的文件,但是不对啊,它好多是bot爬,所以直接用301安排一个大文件是比较好的方法,于抄了一条规则,301跳转到一个10G大文件。刚开始规则有问题,多亏了群里大佬帮忙改了一下。规则如下
直接复制添加到网站配置里即可。如图:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
有很多机器人无时无刻在爬取我们的网站,虽然在我们层层过滤后,它爬取不到什么有用的东西,但我们在查看日志还是挺闹心,那有没有什么方法呢?
最开始想的是弄一个压缩炸弹,解压后就是几十G的文件,但是不对啊,它好多是bot爬,所以直接用301安排一个大文件是比较好的方法,于抄了一条规则,301跳转到一个10G大文件。刚开始规则有问题,多亏了群里大佬帮忙改了一下。规则如下
直接复制添加到网站配置里即可。如图:
- 最新
- 最热
只看作者