记者搜索引擎优化在线新闻的实用规则

kapex70585

通过 robots.txt 文件，我们可以阻止搜索引擎访问我们网站的某些部分，防止重复内容，并为他们提供有关如何更有效地抓取的有用信息。 例如，如果您正在运行电子商务网站，并且用户可以使用过滤器快速搜索您的产品，则此过滤器生成的页面显示的内容与其他页面基本相同。这对用户来说非常有用，但会令搜索引擎感到困惑，因为它会创建重复的内容。 当然，我们不希望搜索引擎抓取这些由过滤器生成的重复页面，因此您需要在robots.txt文件中设置Disallow规则，以便抓取工具不会访问这些页面。 还可以使用规范 rel来管理重复内容的预防，但是此解决方案并不排除扫描重复页面，因此并不总是完全解决问题。 搜索引擎抓取我们网站的时间有限（抓取预算），这些时间应该只花在我们想要定位的战略页面上。 如何创建 robots.txt 文件 如果您的网站还没有 robots.txt 文件，创建一个 .txt 文件非常简单。只需打开一个空白的 .txt 文档并开始输入指令。

例如，如果你想阻止所有搜索引擎抓取/watches/文件夹，你可以这样 手机号码列表 写： 用户代理：  禁止：/手表/ 插入指令后，您需要将文件重命名为“robots.txt”，并将其插入站点的根目录中（即服务器的主目录中）。 或者，您还可以使用 robots.txt 文件生成器（例如来减少出现语法错误的机会。 以下是正确编写 robots.txt 文件并针对搜索引擎进行优化的说明： 每个指令占一行 使用通配符（星号） 使用“$”字符 使用评论 每个（子）域都有一个单独的 robots.txt 文件 避免缓存 每个搜索引擎只有一组指令 每个指令占一行 每个指令应驻留在自己的行中，否则搜索引擎在解析 robots.txt 文件时可能会感到困惑。以下是错误 robots.txt 文件的示例： 用户代理：不允许：/folder-1/ 不允许：/folder-2/ 不允许：/folder-3/ 使用通配符（星号） 星号 (*) 通配符可用于将指令分配给所有用户代理，还可用于识别其中包含特定字符的 URL。例如： 用户代理：  在此示例中，搜索引擎不应抓取包含问号的 /clothes/ 文件夹 URL。 使用“$”字符 您可以使用美元符号 ($) 来指示 URL 的结尾。例如，如果您想阻止爬虫抓取jpg图像文件，您的 robots.txt 文件可能如下所示： 用户代理： 禁止：pg$ 本例中，不允许任何搜索引擎抓取以jpg扩展名结尾的URL。 使用评论 注释对于向开发人员或 SEO 顾问解释 robots.txt 文件非常有用。注释前面有井号 可以插入到行首或同一行的指令之后。字符之后的任何内容都将被爬虫忽略。 该指令告诉 Bing 不要抓取该网站。 用户代理：Bingbot 不允许： / 每个（子）域都有一个单独的 r文件指令仅适用于托管该文件的域/子域。 例如，如果您的主网站是 mysite.it，您的博客是 blog.mysite.it，在这种情况下，您将必须插入两个不同的 件。一个应该放在主站点的根目录中，另一个应该放在博客的根目录中。 避免缓存 谷歌透露，robots.txt 文件通常会缓存长达二十四小时。在更改 robots.txt 文件时，请务必考虑到这一点。



目前尚不清楚其他搜索引擎如何处理缓存 robots.txt 文件，但一般来说，最好避免这种做法，以便搜索引擎不会花费超过必要的时间来检测对文件所做的任何更改。 每个搜索引擎只有一组指令 您只能为每个搜索引擎（即为其用户代理）定义一个指令组，因为为同一用户代理设置多个指令组可能会使它们混淆。 如果用于所有搜索引擎的指令后面跟着专用于特定搜索引擎的指令，则仅考虑后者。 为了使特定搜索引擎也遵循一般准则，也有必要针对特定​​引擎重复这些准则。让我们看一个例子会更清楚： 用户代理： * 禁止：/衬衫/ 禁止：/T 恤/ 禁止：/夹克/ 用户代理：googlebot 禁止：/夹克/ 在此示例中，没有搜索引擎可以抓取 /camicie/、/t-shirt/ 和 /jackets/ 文件夹，而只有 Google 可以抓取 /camicie/ 和 /t-shirt/ 文件夹，但不能抓取 /jackets/。 robots.txt 文件示例 在本节中，我将展示 robots.txt 文件的多个实际示例。