WEB日志文件格式转换为NCSA公用日志文件格式
日志的重要性已经越来越受到服务器运维人员和程序员的重视,WEB日志更是不言而喻。WEB日志是网站分析和网站数据数据整理最基础的数据,了解其格式和组成将有利于更好地进行数据的收集、处理和分析。常见的WEB日志格式主要由两类,一类是Apache的NCSA日志格式,另一类是IIS的W3C日志格式。NCSA格式又分为NCSA普通日志格式(CLF)和NCSA扩展日志格式(ECLF)两类,目前最常用的是NCSA扩展日志格式(ECLF)及基于自定义类型的Apache日志格式;而W3C扩展日志格式(ExLF)具备了更为丰富的输出信息,但目前的应用并不广泛,所以这里主要介绍的是如何转换为NCSA扩展日志格式(ECLF)。
本文主要介绍如何通过convlog命令把IIS日志文件格式转换为NCSA公用日志文件格式?W3C日志文件格式转换为NCSA公用日志文件格式?
NCSA(美国国家超级计算技术应用中心) 公用格式是常用的标准日志格式。可以使用 convlog 工具将 Web 服务器的日志文件转换成 NCSA 公用日志文件格式。该转换器在将 IIS 和 W3C 扩展格式日志文件转换成 NCSA 公用格式的过程中,还可以用域名系统 (DNS) 名称替换 IP 地址,它还可用于将 NCSA 公用日志文件中的 IP 地址替换成 DNS 名。还可以使用 convlog 工具转换时差。
说明:对包含进程记帐日志信息的 W3C 扩展日志文件使用该工具会使所有进程记帐信息丢失。
通过convlog命令的帮助文档我们可以看到以下帮助信息:
Microsoft Internet Log Converter
转换 Microsoft Internet 信息服务日志文件
为 NCSA 公用日志文件格式
版权所有 (C) 1997-1999 Microsoft Corporation
用法: convlog [options] LogFile
选项:
-i = 输入日志文件类型
i - MS Internet 标准日志文件格式
n - NCSA 公用日志文件格式
e - W3C 扩展日志文件格式
-t默认值是 ncsa 。GMTOffset 与格林威治标准时间 (GMT) 的时差(以小时为单位)。差值为前面带有加号或减号的四位数字,取决于当地时间与 GMT 的时差。GMT 时差后的空格可以用 DNS 名替代 IP 地址(仅适用于 IIS 日志文件格式)
-o
比如:
convlog -ii in*.log -d -t ncsa:+0800
命令将以in为前缀、.log为后缀的所有log文件转换成带有 DNS 名称的 NCSA 公用日志文件格式,纠正 8 个小时的 GMT 时差。
convlog -ie ex121231.log -l1 -t ncsa:-0800 -o \Logfiles\California\
命令将 Inetsv1.log 文件命令将ex121231.log文件从 W3C 日志文件格式转换成 NCSA 公用日志文件格式,纠正 8 个小时的 GMT 时差(即加利福尼亚州时间),将日期格式设置为年/月/日格式,并将其发送到当前驱动器上 Logfiles 目录 California 子目录中。
convlog -in ncsa*.log -d
命令将以ncsa为前缀、.log为后缀的所有文件以转换为 NCSA 公用日志文件格式。IP 地址由 DNS 名称替换,但文件格式不进行转换。
convlog -ii jra*.log -t none
由 DNS 转换过程所产生的文件名遵循如下约定:
转换为 NCSA 公用日志文件格式但未进行 DNS 转换的日志文件将保留原来的文件名,并使用 .ncsa 文件扩展名。
IP 地址转换为 DNS 名称的日志文件将保留原来的文件名,并使用 .ncsa.dns 文件扩展名。
例如,如果 inetsv1.log 是使用 IIS 日志文件格式的日志文件,在不进行 DNS 转换时,得到的输出日志文件是 Inetsv1.log.ncsa。但是,如果启用了 DNS 转换功能,则得到的输出日志文件是 Inetsv1.log.ncsa.dns。
ex121231.log.ncsa --> ex121231.log
rename *.ncsa *.
批量修改扩展名.log.ncsa为.log
常用日志分析工具
1.awstats
2.analog
3.webalizer
4.PHPMyVisites
5.日志宝
6.逆火网站日志分析器
…………
此处评论已关闭