nxlog4go 简介 - 基于log4go的下一代日志系统

https://gocn.io/article/592
nxlog4go的项目网址:

https://github.com/ccpaging/nxlog4go

项目历史

ccpaging’s log4go forked from https://github.com/alecthomas/log4go

The latest release is 4.0.3 详见:https://github.com/ccpaging/log4go/releases

修复了一些bug。在修改的过程中产生了不少想法。详见:http://www.cnblogs.com/ccpaging/p/7205226.html

实现这些想法要修改log4go的基本框架,因此,项目更名为 nxlog4go

nxlog4go 简介

nxlog4go 融合了log4net 与 go log的基本框架。

Logger 是日志记录容器。包含了若干 Filter。另外,nxlog4go的Logger兼容了go log的io.Writer,同样支持io,MultiWriter。

Filter 基于level过滤日志。每个 Filter 包含一个 Appender。

Appender 输出日志。例如,输出到彩色终端、滚动文件、TCP/IP网络日志服务器等。

Layout 格式化日志。

详细了解log4net的结构请参考:

  1. log4net Tutorial

  2. log4net教程

Logger

Logger 的结构如下:

  1. type Logger struct {
  2. mu sync.Mutex // ensures atomic writes; protects the following fields
  3. prefix string // prefix to write at beginning of each line
  4. caller bool // runtime caller skip
  5. out io.Writer // destination for output
  6. level Level // The log level
  7. layout Layout // format record for output
  8. filters *Filters // a collection of Filters}

分成几个部分:

  1. 锁。协调写日志和改变配置。如果能保证在写日志前配置,锁不是必须的。
  2. 前缀和取源程序文件名行号的开关。由于后者消耗了大量的cpu,可能不适合生产环境,因此,设置了开关可以关闭。前缀可以在多模块的系统中用于区分不同的模块。也许在网络搜集日志的模型中可用于过滤和分发。
  3. go log兼容的 io.Writer 以及附加的level过滤和layout格式化。nxlog4go 的 logger 直接使用而无需添加任何的 Appender。方便程序员在开发环境下使用。
  4. filter容器的指针。使用指针可以容易的设置和重置。

新建 Logger 有三种方式:

  1. 使用 nxlog4go 内建的 logger。
  2. 在main.go中新建全局变量。
  3. 在多模块系统中,设置单独的模块新建全局变量供其它模块调用。

如果在package开发中使用,建议增加函数:

  1. func GetLogger() *Logger { return ... }

返回 Logger 的变量指针,方便使用package的程序对 Logger 进行设置。

Filter

Filter 的结构如下:

  1. type Filter struct {
  2. Level Level
  3. Appender
  4. rec chan *LogRecord // write queue
  5. closing bool // true if filter was closed at API level
  6. }

nxlog4go 提供了标准的 go routine 框架,最大程度的方便程序员开发新的 Appender。

Appender

Appender 的结构如下:

  1. type Appender interface { // Set option about the Appender. The options should be set as default.
  2. // Must be set before the first log message is written if changed.
  3. // You should test more if have to change options while running.
  4. SetOption(name string, v interface{}) error // This will be called to log a LogRecord message.
  5. Write(rec *LogRecord) // This should clean up anything lingering about the Appender, as it is called before
  6. // the Appender is removed. Write should not be called after Close.
  7. Close()
  8. }

Appender 是一个接口定义。有以下特点:

  1. 可扩展性。Filter 自动调用 Write,程序员可以编写自己的 Write,例如将日子存入map file、存入数据库等等。
  2. nxlog4go 提供了一些基础的Appender,例如:
    这些 Appender 可以作为开发新输出接口的参考。
  • color 目录下的彩色屏幕日志输出
  • file 目录下可用于生产环境的定时滚动日志文件输出
  • socket 目录下支持TCP/UDP Client的网络日志输出

Layout

Layout 的结构如下:

  1. type Layout interface { // Set option about the Layout. The options should be set as default.
  2. // Must be set before the first log message is written if changed.
  3. // You should test more if have to change options while running.
  4. Set(name string, v interface{}) Layout
  5. Get(name string) string
  6. // This will be called to log a LogRecord message.
  7. Format(rec *LogRecord) []byte
  8. }

在早期的 log4go 中只提供了一个函数接口,基于字符串处理。在nxlog4go中使用[]byte,避免反复转换造成的效率降低。

对效率提高影响最大的则是借用了 go log 的 itoa 函数。

  1. // Cheap integer to fixed-width decimal ASCII. Give a negative width to avoid zero-padding.func itoa(buf *[]byte, i int, wid int) { // Assemble decimal in reverse order.
  2. var b [20]byte
  3. bp := len(b) - 1
  4. for i >= 10 || wid > 1 {
  5. wid--
  6. q := i / 10
  7. b[bp] = byte('0' + i - q*10)
  8. bp--
  9. i = q
  10. } // i < 10
  11. b[bp] = byte('0' + i)
  12. *buf = append(*buf, b[bp:]...)
  13. }

加上 log4net 的 timeCacheType,为 nxlog4go 提供了高效率低cpu消耗的 PatternLayout。

同时还提供了扩展 Layout 可能性。例如参照https://github.com/nblib/log4go/做的jsonLayout,据称比json编码的效率高一倍。

配置

log4net,作为一个.net程序用的是xml配置文件驱动的。go lang里边如果这样做,如log4go那样,Appender的扩展性将受到限制。

go lang 中的日志系统如此之多,似乎没有程序员满意其他人做的日志。扩展性比配置驱动更加重要。

nxlog4go 提供了使用 xml、json 配置文件的示例程序。详见 example 目录。


将来也许还会写 nxlog4go 的使用。敬请关注……

目前 nxlog4go 还正在开发中,有些细节可能还会调整。欢迎大家 Fork and Star,提供Issues and Pull Request。

https://github.com/ccpaging/nxlog4go

2018-01-28

2 个评论

sheepbao

sheepbao

真正用log库的时候,还是希望有按天分割日志的功能

2018-01-31 10:12

ccpaging

ccpaging 回复 sheepbao

有的。go log兼容的writer接口,已经拓展了按天和按大分割日志的功能。有空再写一篇nxlog4go的使用。

ft_authoradmin  ft_create_time2018-03-20 14:44
 ft_update_time2018-03-20 14:47