1.ELK简介
这里简单介绍一下elk架构中的各个组件，关于elk的详细介绍的请自行百度
-
Elasticsearch是个开源分布式搜索引擎，是整个ELK架构的核心
-
Logstash可以对数据进行收集、过滤，存储到ELasticsearch中
-
Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志
下面是各个组件在架构中起到的作用
2.组件下载
elasticsearch对版本极其敏感，所以一定要注意elk所有组件务必保持版本一致!
elk组件下载地址》》：https://www.elastic.co/cn/downloads/
3.elasticsearch配置
如果是本机使用elasticsearch基本上解压即用，只需要注意将elasticsearch配置成外网可访问，方法如下：
修改elasticsearch/config目录下的elasticsearch.yml文件
network.host: 0.0.0.0
将network.host设置为0.0.0.0即可开启外网访问，elasticsearch默认端口9200如果需要修改还是在elasticsearch.yml文件中
http.port: 9200
elasticsearch设置数据存储路径以及目录存储路径
path.data: /path/to/data
path.logs: /path/to/logs
启动方式：
windows下双击elasticsearch.bat启动
linux下执行elasticsearch启动 -d为后台启动
4.logstash配置
整个elk架构中logstash需要配置的地方最多，首先logstash起到的作用是收集数据导入至elasticsearch中，收集的方法有很多中，关系型数据库，非关系型数据库亦或者文件这里主要讲一下关系型数据库的导入
先贴出笔者的配置文件
input {
jdbc {
#设置数据库url
jdbc_connection_string => \"jdbc:mysql://localhost:3306/elk\"
#账号与密码
jdbc_user => \"root\"
jdbc_password => \"root\"
#对应数据库的jar包位置以及jdbc类型
jdbc_driver_library => \"/root/mysql-connector-java-5.1.46.jar\"
jdbc_driver_class => \"com.mysql.jdbc.Driver\"
#每次启动logstash是否重新加载数据
clean_run => false
#编码格式
codec => plain { charset => \"UTF-8\"}
#是否使用user_column_value 记录每次查询的值，这个必须为递增的值，在sql中可以使用:sql_last_value取出该值，如果不设置即默认该值为上次执行sql的时间
use_column_value => false
#sql语句位置
statement_filepath => \"/root/product_list.sql\"
#记录上一次执行时间的文件位置
last_run_metadata_path => \"/root/product_last_run_time.txt\"
#使用corn表达式定义执行周期
schedule => \"*/30 * * * * *\"
#多个配置文件时定义该次查询集的名字，方便output、filter进行逻辑处理
type => \"test\"
#时区
jdbc_default_timezone => \"Asia/Shanghai\"
}
}
output {
#使用if判断type
if [type] == \"test\"{
#输出时的数据类型
stdout { codec => json_lines }
#输出到elasticsearch
elasticsearch {
#elasticsearch地址
hosts => [\"localhost:9200\"]
#存储到elasticsearch中的索引名
index => \"test\"
#存到elasticsearch中的类型名
document_type => \"test\"
#存到elasticsearch中的id
document_id => \"%{id}\"
#使用模板存储到elasticsearch中
template_name => \"test\"
#模板位置
template => \"/root/logstash-ik.json\"
}
}
}
在数据量大的期初导入数据可能会因为数据量太大导致jvm内存溢出，修改logstash/config下jvm.options文件
-Xms1g
-Xmx1g
根据机器配置去修改jvm的最大内存至8g或者更多
如果这样都不能解决内存溢出的问题，笔者这里建议将logstash数据存储从内存放到本地磁盘，这样会牺牲速率但解决了期初数据量太大的问题
修改logstash/config下logstash.yml文件
配置如下：
queue.type: persisted
queue.max_bytes: 10240mb
将queue.type设置为persisted，queue.max_bytes设置队列的最大存储数量
还有一些关于logstash性能上的优化
#logstash同时工作的线程数量，默认为服务器cpu核数，一般在cpu核数的四倍及以下合理
pipeline.workers: 2
#logstash一次操作的数据量，可以根据服务器内存来调整
pipeline.batch.size: 125
还有一些其他的优化可以自行参考logstash.yml文件
5.Kibana配置
Kibana需要修改的配置不多，需要注意如果要开启远程访问Kibana需要修改
KIBANA/config/kibaba.yml下的
server.host:\"localhost\"更改为
server.host: \"0.0.0.0\" 就可以远程访问Kibana
关于elk搜索引擎的环境搭建以及配置就到这里，要配置的地方也不多，基本上是开包即用，后面会介绍如何使用关于elasticsearch的使用以及讲解如何使用elk做一个电商平台的搜索引擎。
