如何进行 SEO 日志文件分析 [包含模板] 经过 萨姆·安德伍德

emonseo01

是一名独立顾问，帮助电子商务企业通过页面 SEO、技术 SEO 和内容策略来增加有机收入。
文章统计
每月流量
117
链接网站
44
数据来自内容浏览器
获取本周最佳营销内容
邮件订阅
输入你的电子邮箱
订阅
内容
首先，什么是服务器日志文件？
日志文件如何有利于 SEO
如何访问您的日志文件
如何分析您的日志文件
在过去的五年里，日志文件越来越受到技术 SEO 的认可，这是有充分理由的。
它们是了解搜索引擎已抓取的 URL 的最值得信赖的信息来源，这可能是帮助诊断 SEO 技术问题的关键信息。

谷歌本身也认识到它们的重要性，在谷歌搜索控制台中发布了新功能，并使人们可以轻松查看以前只能通过分析日志才能获得的数据样本。

抓取统计报告； 上面的关键数据和下面显示抓取请求趋势的折线图
此外，谷歌搜索倡导者约翰·穆勒（John Mueller）公开表示日志文件中保存着多少好的信息。


由于围绕日志文件中的数据进行了所有这些宣传，您可能希望更好地了解日志、如何分析它们以及您正在工作的网站是否会从中受益。

本文将回答所有这些问题以及更多问题。这是我们将要讨论的内容：

什么是服务器日志文件？
日志文件如何有利于 SEO
如何访问您的日志文件
如何分析您的日志文件
首先，什么是服务器日志文件？
服务器日志文件是由服务器创建和更新的文件，用于记录其执行的活动。流行的服务器日志文件是访问日志文件，它保存（用户和机器人）对服务器的 HTTP 请求的历史记录。

当非开发人员提到日志文件时，他们通常会提到访问日志。

然而，开发人员发现自己花费更多时间查看错误日志，这些日志报告服务器遇到的问题。

上述内容  新加坡电报号码数据  很重要：如果您向开发人员请求日志，他们首先会问的是“哪些日志？”

因此，请始终明确日志文件请求。如果你想要日志来分析爬行，就索取访问日志。


访问日志文件包含有关向服务器发出的每个请求的大量信息，如下所示：

IP地址
用户代理
网址路径
时间戳（当机器人/浏览器发出请求时）
请求类型（GET 或 POST）
HTTP 状态代码
服务器在访问日志中包含的内容因服务器类型而异，有时开发人员将服务器配置为在日志文件中存储的内容也不同。日志文件的常见格式包括以下几种：

Apache 格式– Nginx 和 Apache 服务器使用此格式。
W3C 格式– Microsoft IIS 服务器使用此格式。
ELB 格式– Amazon Elastic Load Balancing 使用此格式。
自定义格式– 许多服务器支持输出自定义日志格式。
还存在其他形式，但这些是您将遇到的主要形式。

日志文件如何有利于 SEO
现在我们已经对日志文件有了基本的了解，让我们看看它们如何使 SEO 受益。

以下是一些关键方法：

抓取监控- 您可以查看搜索引擎抓取的 URL，并使用它来发现抓取工具陷阱，查找抓取预算浪费，或更好地了解内容更改的获取速度。
状态代码报告– 这对于确定修复错误的优先级特别有用。您可以准确地看到用户/搜索引擎访问 404 URL 的次数，而不是知道您是否遇到了 404。
趋势分析– 通过监控一段时间内对 URL、页面类型/网站部分或整个网站的爬网，您可以发现变化并调查潜在原因。
孤立页面发现– 您可以交叉分析日志文件中的数据以及您自己运行的站点爬网以发现孤立页面。
所有站点都将在某种程度上受益于日志文件分析，但受益程度 根据站点大小而有很大差异。

这是因为日志文件主要通过帮助您 更好地管理 爬行来使站点受益。谷歌本身 表示 ，管理抓取预算将使规模较大或经常变化的网站受益。

谷歌文章摘录
日志文件分析也是如此。

例如，较小的网站可能可以使用 Google Search Console 中提供的“抓取统计信息”数据，并获得上述所有好处，而无需接触日志文件。

爬行统计报告的 Gif 逐渐向下滚动
是的，Google 不会向您提供所有 已抓取的网址（如日志文件），并且趋势分析仅限于三个月的数据。

然而，不经常更改的较小网站也需要较少的持续技术搜索引擎优化。让现场审核员发现并诊断问题可能就足够了。

例如，来自网站爬虫、XML 站点地图、Google Analytics 和 Google Search Console 的交叉分析可能会发现所有孤立页面。

您还可以使用站点审核员从内部链接发现错误状态代码。

我指出这一点有几个关键原因：

获取访问日志文件并不容易 （接下来会详细介绍）。
对于不经常更改的小型网站，日志文件的好处并不那么大，这意味着 SEO 的重点可能会转移到其他地方。
如何访问您的日志文件
在大多数情况下，要分析日志文件，您首先必须向开发人员请求访问日志文件。

开发人员可能会遇到一些问题，他们会提请您注意。这些包括：

部分数据– 日志文件可以包含分散在多个服务器上的部分数据。当开发人员使用各种服务器（例如源服务器、负载均衡器和 CDN）时，通常会发生这种情况。准确了解所有日志可能意味着编译所有服务器的访问日志。
文件大小– 高流量站点的访问日志文件最终可能达到 TB 级（如果不是 PB 级），这使得它们难以传输。
隐私/合规性– 日志文件包括属于个人身份信息 (PII) 的用户 IP 地址。用户信息可能需要删除才能与您共享。
存储历史记录– 由于文件大小，开发人员可能将访问日志配置为仅存储几天，这使得它们对于发现趋势和问题没有用处。
这些问题将让人质疑存储、合并、过滤和传输日志文件是否值得开发人员付出努力，特别是如果开发人员已经有一长串优先级列表（通常是这种情况）。

开发人员可能会将责任放在 SEO 上，以解释/建立一个案例来说明为什么开发人员应该在这方面投入时间，您需要在其他 SEO 重点中优先考虑这一点。

这些问题正是 日志文件分析不经常发生的原因。

您从开发人员处收到的日志文件通常也被流行的日志文件分析工具以不受支持的方式格式化，从而使分析变得更加困难。

值得庆幸的是，有一些软件解决方案可以简化此过程。我最喜欢的是Logflare，这是一个Cloudflare 应用程序 ，可以将日志文件存储在 您拥有的BigQuery 数据库中。

如何分析您的日志文件
现在是时候开始分析您的日志了。

我将向您展示如何在 Logflare 的上下文中具体执行此操作；但是，有关如何使用日志数据的提示适用于任何日志。

我很快将分享的模板也适用于任何日志。您只需确保数据表中的列匹配即可。

1. 首先设置 Logflare（可选）
Logflare 设置起来很简单。通过 BigQuery 集成，它可以长期存储数据。您将拥有这些数据，使每个人都可以轻松访问这些数据。

有一个困难。您需要更换域名服务器以使用 Cloudflare 并在那里管理您的 DNS。

对于大多数人来说，这很好。但是，如果您使用的是企业级站点，则不太可能说服服务器基础架构团队更改名称服务器以简化日志分析。

我不会详细介绍如何让 Logflare 工作的每一步。但要开始使用，您所需要做的就是前往仪表板的 Cloudflare Apps 部分。

侧边栏中的“应用程序”

然后搜索 Logflare。

“Logflare”出现在右上角的搜索字段中，并且该应用程序出现在结果的下方
到此为止的设置是不言自明的（创建帐户、为项目命名、选择要发送的数据等）。我推荐的唯一额外部分是Logflare 设置 BigQuery 的指南。

但请记住，BigQuery 确实会产生费用 ，该费用取决于您执行的查询和存储的数据量。

边注。 值得注意的是，BigQuery 后端的一个显着优势是您拥有数据。这意味着您可以通过将 Logflare 配置为不发送类似 IP 地址的 PII 并使用 SQL 查询从 BigQuery 中删除 PII 来规避 PII 问题。