线上需求:
处理nginx的访问access日志和商城的搜索历史记录。(由于访问量不大、没有用到redis或者其他消息队列)。
之前做的一个版本使用solrcloud做电商搜索引擎、elasticsearch做实时日志系统。
参考文档资料:
http://elasticsearch.cn/ medcl的中文社区
准备好这logstash、elasticsearch、kibana的最新安装包。。最好去官网下载。安装jdk7+
Elasticsearch
elasticsearch VS solr
Elasticsearch相对于solr来讲,更加的适合大数据实时性处理。
相对于solr:
一:ES 对实时索引的情况下,es的效率远远高于solr的效率。当实时建立索引时solr会产生IO 堵塞
二: 随着数据量的增长。ES 的效率高于solr
三: ES 用动态mapping来取代 solr的 schema.xml,更加容易提供动态结构化
基于此。用es来更加适合处理大数据实时性处理。
当然 solr对于ES来讲:
solr有着一个庞大的用户群,成熟稳定。
Solr 是传统搜索应用的有力解决方案,特别是电商等传统搜索领域 (lucene的VSM算法,加上Solr的edismax的 bf函
数)。但 Elasticsearch 更适用于新兴的实时大数据搜索应用。
安装elasticsearch:
解压后得到如图。
开发环境准备了4台机器 。分别 host1、host2、host3、host4。修改config 下面的elasticsearch.yml
我采取的配置为
之后4台机器分别启动es
对应lucene版本 5.3.1
准备好线上环境的nginx及其日志
先配置nginx的日志输出格式log_format 为json的输出格式。如果kibana有大的访问业务需求。 把kibana也配置到nginx中去
log_format json '{"@timestamp":"$time_iso8601",'
'"host":"$server_addr",'
'"clientip":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"upstreamtime":"$upstream_response_time",'
'"upstreamhost":"$upstream_addr",'
'"http_host":"$host",'
'"url":"$uri",'
'"xff":"$http_x_forwarded_for",'
'"referer":"$http_referer",'
'"agent":"$http_user_agent",'
'"status":"$status"}';
Logstash
logstash作用
-结构化日志内容
-标准化日志时间
解压logstash
unzip logstash-2.1.1.zip
在 logstash安装目录下面新建conf目录,
新建logstash_nginx.conf 。
input{
file{
type=>"nginx_access"
path=>["/home/work/log/nginx/*.access.log"]
exclude=>"*.gz"
codec => json
}
}
filter {
mutate {
split => [ "upstreamtime", "," ]
}
mutate {
convert => [ "upstreamtime", "float" ]
}
}
output{
elasticsearch{
hosts=>[
"host1:9200",
"host2:9200",
"host3:9200",
"host4:9200"
]
index=>"access-%{+YYYY.MM.dd}"
}
}
input 的type对应elasticsearch的type
output 的type对应elasticsearch的index 名称
先执行测试一下logstash读取的配置文件语法是否正常解析,如果看到configuraion ok 说明正常解析
bin/logstash -t -f conf/logstash_nginx.conf
生产环境下你可以通过 以下命令 命令来统一存储日志。
bin/logstash -l ~/log/logstash/logstash.log
开始后台 执行logstash 处理nginx日志
nohup bin/logstash -l ~/log/logstash/logstash.log -f conf/*.conf &
在启动客户端中 用jobs 命令可以查看后台进程。或者采用查看
ps -ef |grep logstash
kibana
这玩意 是基于elasticsearch的可视化工具,采用html5实现,效果相当绚。同样 也不需要安装直接解压用
tar -zxvf kibana-4.3.1-linux-x64.tar.gz
vi config/kibana.yml
简单关联配置elasticsearch
启动
nohup bin/kibana &
就可以在 访问其界面了
分享到:
相关推荐
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
filebeat+logstash+ES集群+kibana实战.txt
Logstash, OSSEC + Logstash + Elasticsearch + Kibana OSSEC使用 LOGSTASH - ELASTICSEARCH - KIBANA 管理 OSSEC警报管理现在是Magento安装脚本的一部分。 https://github.com/magenx/Magento-Automat
使用logstash+elasticsearch+kibana搭建监控平台 ,也可以使用logstash+influxdb+grafana搭建监控平台
本压缩包内包含:Elasticsearch+Logstash+Kibana+Filebeat(ELK全部7.9.0版本)
适用与初学者,有什么问题随时找我
大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana
第一步是设置数据源,根据我们之前推送给elasticsearch的日志数据,使用management标签创建索引模式; 第二步根据第一步创建的索引模式,使用Visualize 标签页用来设计可视化图形; 第三步根据第二步做好的可视化...
Logstash+ElasticSearch+Kibana+Redis日志分析和监控工具 注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:...
Heroku日志和ELK(Logstash + Elasticsearch + Kibana)演示 要求: 码头工人 Docker撰写 Docker Machine(如果您未使用Linux) Heroku工具带 观看实际的演示: 首先,启动3个容器(Logstash,Elasticsearch和...
Elasticsearch + Logstash + Kibana Elasticsearch + Logstash + filebeat + Kibana Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件,比如kafka) + Kibana 2、生产上建议使用 建议采用 ...
说明文档E-mail:Blog:======ELK集成: Awesant + Logstash + Elasticsearch +Kibana + Nginx + Redis======单机版(Standalone): Logstash-index(收集日志)+ Elasticsearch(索引)+ Kibana(前端) +Nginx...
ELK 套件(ElasticSearch+Logstash+Kibana) TIG 套件(Telegraf+InfluxD
1,什么是Logstash 2,日志平台架构及Logstash技术要点 3,Kibana界面查询过滤操作 4,Kibana一些实例介绍 5,导航界面介绍及如何接入
大型日志分析 ElasticSearch+Logstash+Kibana教程从部署到日志采集到日志展示完整流程.
es:elasticsearch 对数据进行存储,分类,搜索 logstash: 日志收集,filter(过滤),日志输出到(reids,kafka,es)中 kibana:日志展示(查询es中保存的数据)
Logstash + Elasticsearch + Kibana不用于生产! 这是一个超级易于使用的 Logstash docker 映像,其中包括收集、解析、存储日志、搜索日志、可视化日志和从日志中提取不同类型信息所需的一切。 这个多合一的 ...
openresty_nginx_logstash_kibana_elasticsearch_centos6 如何在centos6上安装(openresty + nginx + logstash + kibana + elasticsearch) 一些帮助和启发的链接: 安装openresty 假设机器上已经安装了nginx。 ...
包含elasticsearch-7.6.1、logstash-7.6.1、kibana-7.6.1-linux-x86_64.tar
实战Elasticsearch、Logstash、Kibana++分布式大数据搜索与日志挖掘及可视化解决方案