想写一个日志分析工具，有没有好的轮子

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2240 天前的主题，其中的信息可能已经有所发展或是发生改变。

主要内容就是，分析应用重启阶段的日志，判断是否有异常之类的。

要正则匹配关键字处理么？看了几个都是这样简单的处理的。

大家有什么好想法么，或者有什么现成的轮子用。

轮子

日志

现成

重启

15 条回复

limbo0

2018-09-11 16:16:46 +08:00 via Android

多大的日志，试试 logstash

meowoo

2018-09-11 16:19:28 +08:00

@limbo0 一般都是几 M 到几十 M 应用的重启日志，spring bot，weblogic，tomcat，等中间件的日志

我先看下谢谢

billzhuang

2018-09-11 16:22:28 +08:00

ELK 或者用 EL + Grafana

meowoo

2018-09-11 16:31:24 +08:00

@billzhuang 感觉有些庞大了，现在的工具是远程执行重启命令，打印出来的内容会保存在本地，然后分析这份重启日志判断应用是否正常启动。有没有轻量级的推荐，主要想要的就是，给一个 log 文件，分析是否有报错，谢谢

qq976739120

2018-09-11 16:38:26 +08:00

filebeat+es+kibana logstash 实在是太重了

HFcbyqP0iVO5KM05

2018-09-11 19:45:23 +08:00 via Android

只是需要分析报错的话，要不试试 sentry ？

exiaohao

2018-09-11 19:47:46 +08:00

fyi
https://www.qiniu.com/products/insight

d0m2o08

2018-09-11 20:35:48 +08:00 via iPhone

轻量的 graylog 了解一下，elk 实在太笨重，数据量不大没必要

baojiweicn2

2018-09-11 20:46:41 +08:00 via iPhone

senty，elk 都挺好的

aimiyooo

2018-09-11 21:38:10 +08:00

elk+1

xpresslink

2018-09-11 22:34:16 +08:00

就这么简单的事情还要轮子。

直接用 python 撸个脚本就可以了，直接 os.popen('grep -E "regex" filename') 或者 os.popen('zgrep -e "regex" filename.gz')

其实这样弄比直接用 python 处理要快得多，grep/zgrep 是 C 写的还支持文件通配。

推荐 open falcon，ELK

meowoo

2018-09-12 02:25:54 +08:00 via iPhone

@xpresslink 我自己是准备这样搞得，就想看看有没有好轮子用

Livid

MOD

2018-09-12 02:43:46 +08:00 via iPhone

papertrailapp.com

geelaw

2018-09-12 03:36:47 +08:00

Get-Item '你的日志文件' | Select-String '你的正则表达式' | Out-GridView

hearfish

2018-09-12 03:48:47 +08:00

scalyr.com