分享

elasticsearch

 印度阿三17 2020-09-12

现状描述

目前使用的是单节点部署的es ,存在单点隐患,性能瓶颈,数据冗余等问题,所以需要集群模式部署。

解决方案

停止业务写入,把单点es 数据压缩。新建一个节点配置为单节点运行,把数据复制到新节点的data 目录下面,启动节点查看数据是否正常,然后再逐步一台一台加入,最终扩展为三节点的集群。一个master,两个node ,三个节点都是数据节点。

 

操作步骤

单点es 操作

1、通知相关业务人员停止数据写入,通过9200 查看数据分片状态是否正常,若正常则停止es 服务。

2、打包压缩数据  cd /data_es/es/data&&tar  -zcf   data.tgz   node

3、把压缩包传输到新节点相应目录下

新节点操作

一、新建一个节点

1、新建一个单节点,配置如下

cat es-1/config/elasticsearch.yml

cluster.name: "docker-cluster-es-1"
network.host: 0.0.0.0
node.name: es-1
network.publish_host: 172.31.6.81
discovery.zen.minimum_master_nodes: 1
transport.tcp.port: 9900                                  #集群之间通讯端口,默认是9300
transport.tcp.compress: true
http.cors.enabled: true
http.cors.allow-origin: "*"

######## Start OpenDistro for Elasticsearch Security Demo Configuration ########
cluster.routing.allocation.disk.threshold_enabled: false
node.max_local_storage_nodes: 3
######## End OpenDistro for Elasticsearch Security Demo Configuration ########

 

2、把压缩包解压到 es-1/data/目录下面

3、启动节点启动脚本如下

#!/bin/bash

docker stop aws-es-1
docker rm aws-es-1
docker run --name aws-es-1  -p 9800:9200 -p 9900:9900  \
    -v /data_es/es-1/data:/usr/share/elasticsearch/data \
    -v /data_es/es-1/logs:/usr/share/elasticsearch/logs \
    -v /data_es/es-1/config:/usr/share/elasticsearch/config \
    -v /data_es/es-1/config/ik:/usr/share/elasticsearch/plugins/ik \
    --log-opt max-size=10m --log-opt max-file=5 \
    -d elasticsearch:6.8.10
4、通过head 插件查看数据状态是否正常

二、加入第二个节点

1、更改节点1的配置

elasticsearch.yml 添加内容如下,第一个ip 是待加入的新节点IP,第二个是节点1的IP

discovery.zen.ping.unicast.hosts: ["172.31.9.27:9900", "172.31.6.81:9900"]

2、新加入节点配置如下(data logs 等目录为空)

cluster.name: "docker-cluster-es-1"                        #集群名字必须都一样
network.host: 0.0.0.0
node.name: es-3                                                  #节点名字每个节点都是唯一的
network.publish_host: 172.31.9.27
discovery.zen.ping.unicast.hosts: ["172.31.9.27:9900", "172.31.6.81:9900"]     #组播的地址池,里面的IP 是节点1和自己的
discovery.zen.minimum_master_nodes: 1                                                  #跟节点1保持一致
transport.tcp.port: 9900
transport.tcp.compress: true
http.cors.enabled: true
http.cors.allow-origin: "*"

######## Start OpenDistro for Elasticsearch Security Demo Configuration ########
cluster.routing.allocation.disk.threshold_enabled: false
node.max_local_storage_nodes: 3
######## End OpenDistro for Elasticsearch Security Demo Configuration ########

3、启动节点2,重启节点1

4、通过head查看分配状态,待所有数据分配完毕加入第三个节点

三、加入第三个节点     

 1、新节点配置如下

cluster.name: "docker-cluster-es-1"
network.host: 0.0.0.0
node.name: es-2                                  #自己名字
network.publish_host: 172.31.12.145         #自己IP
discovery.zen.ping.unicast.hosts: ["172.31.9.27:9900", "172.31.6.81:9900", "172.31.12.145:9900"]        #加入自己的IP
discovery.zen.minimum_master_nodes: 2  #由1 变为2,三节点设置为2,防止脑裂。
transport.tcp.port: 9900
transport.tcp.compress: true
http.cors.enabled: true
http.cors.allow-origin: "*"

######## Start OpenDistro for Elasticsearch Security Demo Configuration ########
cluster.routing.allocation.disk.threshold_enabled: false
node.max_local_storage_nodes: 3
######## End OpenDistro for Elasticsearch Security Demo Configuration ########

2、第二节点配置

 

3、第三节点配置变动如下

discovery.zen.ping.unicast.hosts: ["172.31.9.27:9900", "172.31.6.81:9900", "172.31.12.145:9900"]        #加入新节点的IP
discovery.zen.minimum_master_nodes: 2  #由1 变为2,三节点设置为2,防止脑裂。

 

4、第一个节点配置变更同上。

5、重启节点一,二,启动节点三

6、查看数据分配状态

 

维护调优

1、jvm 配置

 堆内存最大最小值要相同,最大配置不能超过32G,一般配置为宿主机的内存的一半(剩余的留给lucen),配置地点 config/jvm.options

 

2、节点宕机

 集群中有一台节点宕机或者网络故障时,无论此节点是master 还是node 都没关系,数据分片有 Unassigned状态,过段时间,就会把故障节点数据调度到其它两个节点,而后数据分片状态恢复正常。注意,如果故障节点不能够短时间恢复,需要更改现有两个节点的配置为 discovery.zen.minimum_master_nodes: 1 ,这样现有两个节点其中一个故障,集群依然存活,否则discovery.zen.minimum_master_nodes: 2 的时候,要求最少存在两个节点且具有选举为master 的资格的节点。

 

当只能正常运行两个节点的时候,如果其中一个挂了(无论主备),只剩下唯一的一个节点,discovery.zen.minimum_master_nodes: 1 的配置下,集群可以启动,会有Unassigned分片,且在故障节点无法恢复的前提下,此状态分片不会消失,原因:集群的副本数量为1,也就是存在两份相同数据,如果只有一个节点存活,那么两份相同数据无法分配给一个节点,所以就会有一个数据处于Unassigned,知道有新的节点加入集群,无论此节点是之前宕机的哪个节点。

 

3、调试

集群创建索引 kzf   :   curl -XPUT 'http://localhost:9800/kzf?pretty'

来源:https://www./content-4-735701.html

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多