致他们继续访问我们不希望他们浪

因此，为了避免今天的情况发生，我起草了一系列关于搜索引擎定位基础知识的笔记，其中大多数人都忽略了非常重要的细节：robots.txt 文件，网络基础知识之一定位索引。 Robots.txt 是一个文件，旨在向网络搜索引擎指出它们有权访问哪些 URL 以及应该避免访问哪些 URL。它的工作方式很简单：在访问站点 URL 之前，机器人应该查看此文件以确定是否必须去那里收集信息，或者相反，站点所有者是否不希望它进入。





简而言之，它们只是表明任何机器人都可以根据需要跳过，但 Google 机器人对 冰岛 电话号码 此给予了很多关注（也不是百分百）。 robots.txt 文件是每个网络定位必须充分了解才能成功操纵它的技术主题之一。出于这个原因，谷歌本身在其支持中告诉我们如何创建我们的： 我们获得非常直接且易于吸收的信息。这些文件的编写非常简单，尽管任何错误，无论多么微小，都可能导致蜘蛛无法进入我们想要的页面。在最好的情况下，这将导费时间的 URL，在最坏的情况下，情况恰恰相反：他们不会索引我们真正希望出现在搜索引擎中的内容。






这是一个典型的重要方面，尽管它很简单，但人们并没有足够认真地对待，这就是问题所在：谷歌的文档很好，尽管它没有涵盖有关如何解释所述文件以及我们是否可以使用该文件的所有特殊性。如果我们独自一人，我们可能会犯一些将来会后悔的错误。 因此，我给您留下了必须考虑和吸收的有关这些文件的十个概念。从最基本的技巧到我们只能应用于复杂的网站或具有大量抓取预算优化细节的技巧。 回到顶部 1）上一篇：robots.txt的一般格式 Robots.txt 很简单...... 1. 我们首先在一行中声明我们想要影响的用户代理（正在浏览或爬行站点的系统的名称），之后我们将指出允许和禁止的访问。