21.2 日志格式

大家好，又见面了，我是你们的朋友全栈君。

• 大部分商用和开源的 HTTP 应用程序都支持以一种或多种常用格式进行日志记录。很多这样的应用程序都支持管理者配置日志格式，创建自定义的格式。
• 应用程序支持管理者使用这些更标准的格式的主要好处之一就在于，可以充分利用那些已构建好的工具处理这些日志，并产生基本的统计信息。有很多开源包和商用包都可用来压缩日志，以进行汇报。使用标准格式，应用程序及其管理员就都可以利用这些包了。

1. 常见日志格式

• 现在，最常见的日志格式之一就是常用日志格式。这种日志格式最初由 NCSA 定义，很多服务器在默认情况下都会使用这种日志格式。可以将大部分商用及开源服务器配置为使用这种格式，有很多商用及免费工具都可辅助解析常用日志格式的文件。
• 常用日志格式字段：
  
• 举例：列出了几个常见日志格式条目
  209.1.32.44 - - [03/Oct/1999:14:16:00 -0400] "GET / HTTP/1.0" 200 1024
http-guide.com - dg [03/Oct/1999:14:16:32 -0400] "GET / HTTP/1.0" 200 477
http-guide.com - dg [03/Oct/1999:14:16:32 -0400] "GET /foo HTTP/1.0" 404 0
  在这些例子中，字段的分配如下所示：
  
  注意，remotehost 字段可以是 http-guide.com 那样的主机名，也可以是 209.1.32.44 这样的 IP 地址。
  第二个(username)和第三个(auth-username)字段之间的破折号说明字段为空。这说明要么是没有进行 ident 查找(第二个字段为空)，要么是没有进行认证(第三 个字段为空)。

2. 组合日志格式

• 另一种常用日志格式为组合日志格式(Combined Log Format)，例如 Apache 服务器就支持这种格式。
• 组合日志格式与常用日志格式很类似。实际上，它就是常用日志 格式的精确镜像，只是添加了下表中的两个字段：
  
• User-Agent 字段用于说明是哪个 HTTP 客户端应用程序在发起已被记录的请求，而 Referer 字段则提供了更多与请求端在何处找到这个 URL 的有关信息。
• 举例：一个组合日志格式的条目
  209.1.32.44 - - [03/Oct/1999:14:16:00 -0400] "GET / HTTP/1.0" 200 1024 "http://www.joes-hardware.com/" "5.0: Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)"
  
• 组合日志格式条目示例中的前七个字段和常用日志格式中的完全一样，两个新字段 Referer 和 User-Agent 附加在日志条目的末尾。

3. 网景扩展日志格式

• 网景的格式是基于 NCSA 的常用日志格式的，但它们扩展了该格式，以支持与代理和 Web 缓存这样的 HTTP 应用程序相关的字段。
• 网景扩展日志格式的前 7 个字段与常用日志格式中的那些字段完全相同，下表为网景扩展日志格式引入的新字段：
  
• 举例：一个网景扩展日志格式的条目
  209.1.32.44 - - [03/Oct/1999:14:16:00-0400] "GET / HTTP/1.0" 200 1024 200 1024 0 0 215 260 279 254 3
  

4. 网景扩展2日志格式

• 网景扩展2日志格式采用了扩展日志格式，并添加了一些与 HTTP 代理和 Web 缓存应用程序有关的附加信息。这些附加字段有助于更好地描绘 HTTP 客户端和 HTTP 代理应用程序间的交互图景。
• 网景扩展2日志格式是基于常用日志格式和网景扩展日志格式的，在它们的基础上又增加了 4 个字段：
  
• 举例：一个网景扩展2日志格式的条目
  209.1.32.44 - - [03/Oct/1999:14:16:00-0400] "GET / HTTP/1.0" 200 1024 200 1024 0 0 215 260 279 254 3 DIRECT FIN FIN WRITTEN
  
• 下表列出了有效的网景路由代码：
  
• 下表列出了有效的网景完成代码：
  
• 下表列出了有效的网景缓存代码：
  
  
• 与很多其他 HTTP 应用程序一样，网景应用程序也有其他的日志格式，包括一种灵活日志格式和一种管理者输出自定义日志字段的方式。这些格式给予管理者更大的控制权，并可以选择在日志中报告 HTTP 事务处理的哪些部分(首部、状态、尺寸等)，以自定义其日志。
• 由于很难预测管理者希望从其日志中获取哪些信息，才添加了管理者配置自定义格式的能力。很多其他的代理和服务器都有发布自定义日志的能力。

5. Squid 代理日志格式

• Squid 代理缓存(http://www.squid-cache.org)是 Web 上一个很古老的部分。其起源可以回溯到一个早期的 Web 代理缓存项目(ftp://ftp.cs.colorado.edu/pub/techreports/schwartz/Harvest.Conf.ps.Z)。Squid 是开源社团多年来扩展增强的一个开源项目。有很多工具可以用来辅助管理 Squid 应用程序，包括一些有助于处理、审核及开发其日志的工具。很多后继代理缓存都为自己的日志使用了 Squid 格式，这样才能更好地利用这些工具。
• Squid日志格式字段：
  
  
• 举例：一个 Squid 日志格式条目
  99823414 3001 209.1.32.44 TCP_MISS/200 4087 GET http://www.joes-hardware.com - DIRECT/proxy.com text/html
  
• Squid结果代码：