Logstash:日志文件管理工具

 ,  , 

logstash

Logstash是一个开源数据搜集引擎,支持实时数据管道功能。Logstash可以动态整合分散的数据源,根据你的选择对数据标准化。根据不同的高级下游分析和可视化用例对数据进行梳理。

尽管Logstash的早期目标是搜集日志,现在它的功能已完全不只于此。任何事件类型都可以加入分析,通过输入、过滤器和输出插件进行转换。与此同时,还提供了很多原生编解码工具简化消息处理。Logstash通过海量数据处理和多种多样的数据格式支持延伸了你对数据的洞察力。

主要特性

logstash (1)

记录越多,发现越多。Logstash支持各种格式和大小的数据。

日志和度量

这是Logstash所有功能的基础:

  • 处理各种类型的日志数据。
  • 可以方便地吸收各种,比如ApacheWeb日志和 log4j 应用日志等。
  • 支持铺货各种其他格式的日志,比如syslogWindows事件日志、网络和防火墙日志等。
  • 通过Filebeat补充系统安全日志。
  • GangliacollectdNetFlowJMX等许多其他基础架构以及基于TCPUDP的应用平台搜集度量数据。

Web

解析万维网。

  • HTTP请求记录为事件(博客

    • 通过对来自Twitter这样的Web Service Firehose信息处理,可以进行社会情绪分析。
    • 为GitHub、HipChat、JIRA和许多其它应用提供Webhook。
    • 支持Watcher警告用法。
  • 可以根据要求采用轮询HTTP端点创建事件(博客)。

    • 支持从Web应用接口获得健康状态、性能数据、度量数据以及其它信息。
    • 非常适合在轮询控制比接受消息更合适的情况下使用。

数据存储和数据流

从已有数据中可以发现更多有价值的信息。

传感器与物联网(IoT)

探索其他丰富的数据。

  • 在这个科技进步的时代,捕获和利用来自连接到网络的传感器数据带来了无限的机会。
  • 作为事件集合通用骨干平台,Logstash能够处理来自移动设备与智能家居、车辆、健康传感器和很多其它工业专业应用之间传输的数据。
  • Watch加入Logstash并与更广泛的ELK栈结合,集中和充实传感器数据,可以从中挖掘与居住房屋有关的更深层信息。

下载

Logstash 2.3.1

Logstash可以通过apt或yum从远程仓库安装,参见这里。也可以直接从下面下载安装包:

Logstash 2.3.1所有插件

在发布时,Logstash会带有所有最新的可用插件。 这个安装包可以在离线环境下方便地使用:

安装

  1. 下载并unzip最新logstash发布版本
  2. 配置logstash.conf文件
  3. 执行 bin/logstash agent -f logstash.conf

记录你的第一个事件:Logstash基础示例

要测试你的Logstash安装是否成功,可以运行Logstash基础管道(pipeline):

加入 -e 标志可以在命令行直接指定配置文件。在命令行指定配置可以快速测试,不用在命令行里编辑参数。上面的管道从标准输入stdin里接受输入并将信息以结构化的形式转给标准输出 stdout

显示”Logstash startup completed”时,可以在命令行输入hello world并查看Logstash反馈结果:

Logstash会将时间戳和IP地址信息加入输出的消息。按下CTRL-D可以从命令行退出Logstash。

高级教程里会讨论Logstash更多使用方法。

开发资源

协议

Logstash遵循Apache 2.0开源协议发布。

官方网站:https://www.elastic.co/products/logstash
开源地址:https://github.com/elastic/logstash

打赏支持我整理更多优质资源,谢谢!

打赏编辑

打赏支持我整理更多优质资源,谢谢!

任选一种支付方式

1 2 收藏

资源整理者简介:唐尤华

做自己喜欢的,编程、喝茶、看世界 个人主页 · 贡献了108个资源 · 18 ·    


直接登录

推荐关注

按分类快速查找

关于资源导航
  • 伯乐在线资源导航收录优秀的工具资源。内容覆盖开发、设计、产品和管理等IT互联网行业相关的领域。目前已经收录 1440 项工具资源。
    推送伯乐头条热点内容微信号:jobbole 分享干货的技术类微信号:iProgrammer