日志标准化规范一.背景随着互联网络的飞速发展,各行各业已经不限于知道信息,更是挖掘、把握住隐藏在信息后面的信息。海量的数据是一种宝贵的财富,如何按照不同维度、各种口径和规则从海量的、隐含的、杂乱的、重复的web日志或用户访问信息中发现、提炼、分析、统计出有用的知识和应用价值,进而提高服务质量,改进网站的结构和内容,挖掘出有意义的用户访问模式、规则以及相关的潜在用户群等是一件非常有意义的工作。为实时监控网络的异常状态,跟踪网络应用资源的使用情况,实现对众多设备主机日志信息的集中分析和管控,实现各种日志格式的兼容,准确定位出问题的物理服务器和时间段等,目前南航通过统一集中部署SpringAOP(kafa/redis)+Elasticsearch+Logstash+Kibana日志分析平台实现了对日志收集、存储、搜索、分析、监控及展现,并开放访问接口给开发人员,开发人员以ELK日志分析平台的源数据为基础,对数据进行预处理、维度汇总,进而形成行业上的各种指标。ELK具有强大的搜索和展现功能,它只需安装部署而不需要编写代码,即可进行业务数据分析、错误日志分析及数据预警