欢迎搜索公众号：白帽子左一

每天分享更多黑客技能，工具及体系化视频教程（免费领

前言

前面我们写了一篇《WordPress 从删除文章后（清空回收站）保存被删除文章的链接到txt》。

这个这个方法实用确在后面的回收站删除步骤出现了新的问题。

如果回收站里面的文章数据少，倒还可以手动清空回收站，但我的数据太多，又10万左右的文章都放在回收站了，这样

最近发现一个客户的网站被别人进行了恶意搜索攻击，导致他的网站域名下被收录了很多不良信息数据，如下图所示：

什么是恶意搜索攻击？

这种恶意搜索攻击，其实非常简单，就是通过既定的网址结构不断对网站发起不良关键词搜索访问，比如WordPress的搜索网址结构为 域名/?s=搜索词，而且可能还会顺便将访问的地址推送到各大搜索引擎，加快这些恶意网址的收录。这样，你的网站就会沦为这些不法之徒传播不良信息的渠道，这对网站排名是非常不利的，甚至可能会直接被搜索引擎K站。

Robots协议就是搜索引擎爬取网站要遵守的协议和标准，也叫做爬虫协议、机器人协议等。有了robots协议，就可以让搜索引擎派出的爬虫机器人知道，我们的网站中哪些网页内容可以抓取，哪些网页内容是不能抓取。设置好robots协议不仅有利于网站SEO，也可以通过协议有效避免不必要的抓取从而减轻服务器的负担。我们通常通过在网站根目录添加robots.txt文件来存放爬虫协议。本文主要分享下如何通过Rank Math这个SEO优化插件来优化并添加robots协议。

在数字化出海的浪潮中，AI工作流正成为提升效率、降低成本的利器。本文作者通过n8n搭建了一个AI驱动的工作流，用于帮助网站出海并赚取美金。在第一部分介绍了如何连接Supabase数据库后，本文继续深入探讨如何实现网站截图以及生成SEO友好的介绍信息。

书接上回：用n8n做AI工作流驱动网站出海赚美金1：连接Supabase数据库

通过用户的反馈我们了解到，大家对优化robots.txt文件的方法和该文件对于SEO的重要性还不是很清楚。所以今天我们准备通过这篇教程为大家介绍一下robots.txt 文件的重要性同时为大家展示如何对该文件进行优化。

一、是否需要一个robots.txt文件？

虽然没有robots.txt文件也不会影响搜索引擎对网站的爬取和索引，但是如果你想要将你的XML网站指南提交给搜索引擎，那么该文件的存在就很有必要了；所以我们强烈建议大家创建一个robots.txt文件。

前言

因为前期采集非常多的垃圾文章，这些文章多多少少已经被搜索引擎收录。实际有用的文章只有8000多，但采集就达到了惊人的10W+。这些数据本来也没多少作用，所以一次性删了。

我想要达到的目的是将这些文章删除收，自动将文章URL保存到一个TXT文件，方便我利用这些URL来做死链文件提交给搜索引擎。