Home

logkit快速开始

简介

logkit是Pandora开源的一个通用的日志收集工具，可以将不同数据源的数据方便的发送到Pandora进行数据分析，除了基本的数据读取、解析、变换、发送、删除等功能，logkit还具有集群管理、可视化页面配置等强大的功能。

下载

请移步至Download页面

收集数据 支持的数据源

• File Reader: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。
• Elasticsearch Reader: 读取ElasticSearch中的数据。
• MongoDB Reader: 读取MongoDB中的数据。
• MySQL Reader: 读取MySQL中的数据。
• MicroSoft SQL Server Reader: 读取Microsoft SQL Server中的数据。
• Kafka Reader: 读取Kafka中的数据。
• Redis Reader: 读取Redis中的数据。
• Socket Reader: 读取tcp\udp\unixsocket协议中的数据。

发送数据 支持的发送服务端

1. Pandora Sender: 发送到Pandora(七牛大数据处理平台)。
2. Elasticsearch Sender: 发送到ElasticSearch。
3. File Sender: 发送到本地文件。
4. InfluxDB Sender: 发送到InfluxDB。
5. MongoDB Accumulate Sender: 聚合后发送到MongoDB。
6. Kafka Sender: 发送到Kafka。

数据解析与变换

1. Parsers：针对整体数据的解析，支持包括json、csv、grok等大多数主流日志解析方式。
2. Transforms: 针对字段做数据变换, 支持包括字符串操作、ip扩展等多种数据变换方式。

集群化功能

logkit支持通过集群化的方式管理，批量管理所有机器的数据收集任务，详情参见logkit Cluster功能介绍。

典型使用场景

1. 收集业务日志(包括nginx等基础组件日志)至Pandora进行大数据分析
2. 将MongoDB/MySQL/MSSQL/ElasticSearch/Kafka中的数据导入Pandora进行大数据分析

工作方式

Logkit本身支持多种数据源，并且可以同时发送多个数据源的数据到Pandora，每个数据源对应一个逻辑上的runner，一个runner负责一个数据源的数据推送，工作原理如下图所示

使用方式

1. 下载&解压logkit工具

Linux 版本

wget https://pandora-dl.qiniu.com/logkit.tar.gz && tar xvf logkit.tar.gz && cd _package_linux64/

MacOS 版本

wget https://pandora-dl.qiniu.com/logkit_mac.tar.gz && tar xvf logkit_mac.tar.gz && cd _package_mac/

Windows 版本

请下载 https://pandora-dl.qiniu.com/logkit_windows.zip 并解压缩，进入目录

2. 修改logkit基本配置

打开 logkit.conf

logkit.conf是logkit工具基础配置文件，主要用于指定logkit运行时需要的资源和各个runner配置文件的具体路径。

典型的配置如下：

{
	"max_procs": 8,
	"debug_level": 1,
	"clean_self_log":true,
	"bind_host":"localhost:3000",
	"static_root_path":"./public",
	"confs_path": ["confs*"]
}

初步使用，你只需要关注并根据实际需要修改其中三个选项：

1. bind_host logkit页面绑定的端口后，启动后可以根据这个页面配置logkit。

2. static_root_path logkit页面的静态资源路径，强烈建议写成绝对路径

3. confs_path 除了通过页面配置添加以外，logkit还支持直接监控文件夹添加runner。（如果你只通过页面添加logkit runner，那么无需修改此配置） 列表中的每一项都是一个runner的配置文件夹，如果每一项中文件夹下配置发生增加、减少或者变更，logkit会相应的增加、减少或者变更runner，配置文件夹中的每个配置文件都代表了一个runner。该指定了一个runner的配置文件夹，这个配置文件夹下面每个以.conf结尾的文件就代表了一个运行的runner，也就代表了一个logkit正在运行的推送数据的线程。

4. 启动logkit工具

./logkit -f logkit.conf

4. 通过浏览器打开logkit配置页面

浏览器访问的地址就是您在第2步中填写的 bind_host 选项地址

• 根据页面配置数据源、配置解析方式、配置发送方式

• 在配置解析方式的页面您还可以根据配置尝试解析您的样例数据

• 最后在确认并添加页面点击生成配置文件，还可以直接修改，再点击添加Runner即可生效

更多配置相关内容，请参阅logkit wiki中对应页面内容。