Docker Swarm部署Elasticsearch集群_docker swarm elasticsearch-程序员宅基地

技术标签: docker  

1、部署环境:

IP hostname 部署实例 Node labels
192.168.1.101 swarm01 elasticsearch1 -
192.168.1.102 swarm02 elasticsearch2 -
192.168.1.103 swarm03 elasticsearch3 -

2、给相关Swarm节点添加标签,使elasticsearch实例部署到指定服务器节点上

#  在任意一个Manager节点上执行
docker node update --label-add elasticsearch.cluster=node1 swarm01
docker node update --label-add elasticsearch.cluster=node2 swarm02
docker node update --label-add elasticsearch.cluster=node3 swarm03

执行以上命令后,各节点Node labels如下:

IP hostname 部署实例 Node labels
192.168.1.101 swarm01 elasticsearch1 elasticsearch.cluster=node1
192.168.1.102 swarm02 elasticsearch2 elasticsearch.cluster=node3
192.168.1.103 swarm03 elasticsearch3 elasticsearch.cluster=node3

如:compose编排脚本中,用如下的方式,将elasticsearch1服务部署到docker04节点上

deploy:
      mode: global
      placement:
        constraints:
          - node.labels.elasticsearch.cluster == node1

1.3、创建数据卷映射目录

# 在三个服务器节点上,分别执行以下命令
mkdir -p /usr/local/elasticsearch/data

1.4、修改系统参数

# 分别在三个服务器节点上(宿主机),修改/etc/sysctl.conf,添加参数vm.max_map_count(一个进程可以拥有的VMA(虚拟内存区域)的数量)
vi /etc/sysctl.conf
vm.max_map_count=262144

然后执行sysctl -p , 使用修改生效

4、部署文件说明

涉及到的部署文件有两个:

  1. 编排脚本:elasticsearch-compose.yml

定义了构成应用程序的所有服务

  1. 环境变量:elasticsearch.env

将compose脚本中重复使用的参数提取成变量,部署时只修改环境变量中定义的值即可,避免直接修改庞大的compose脚本导致出错

4.1、编排脚本:elasticsearch-compose.yml

version: "3.8"
services:
  elasticsearch1:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.13.2
    environment:
      network.publish_host: elasticsearch1
      network.host: 0.0.0.0
      node.name: es01
      cluster.name: es-docker-cluster
      discovery.seed_hosts: elasticsearch2,elasticsearch3
      cluster.initial_master_nodes: es01,es02,es03
      ES_JAVA_OPTS: ${
    ES_JAVA_OPTS}
      indices.fielddata.cache.size: 20%
      indices.breaker.fielddata.limit: 40%
      indices.breaker.request.limit: 40%
      indices.breaker.total.limit: 95%
      TAKE_FILE_OWNERSHIP: "true"
    volumes:
      - "/elasticsearch/data:/usr/share/elasticsearch/data"
    networks:
      - middle
    deploy:
      mode: global
      placement:
        constraints:
          - "node.labels.elasticsearch.cluster==node1"
  elasticsearch2:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.13.2
    environment:
      network.publish_host: elasticsearch2
      network.host: 0.0.0.0
      node.name: es02
      cluster.name: es-docker-cluster
      discovery.seed_hosts: elasticsearch1,elasticsearch3
      cluster.initial_master_nodes: es01,es02,es03
      ES_JAVA_OPTS: ${
    ES_JAVA_OPTS}
      indices.fielddata.cache.size: 20%
      indices.breaker.fielddata.limit: 40%
      indices.breaker.request.limit: 40%
      indices.breaker.total.limit: 95%
      TAKE_FILE_OWNERSHIP: "true"
    volumes:
      - "/elasticsearch/data:/usr/share/elasticsearch/data"
    networks:
      - middle
    deploy:
      mode: global
      placement:
        constraints:
          - "node.labels.elasticsearch.cluster==node2"
  elasticsearch3:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.13.2
    environment:
      network.publish_host: elasticsearch3
      network.host: 0.0.0.0
      node.name: es03
      cluster.name: es-docker-cluster
      discovery.seed_hosts: elasticsearch1,elasticsearch2
      cluster.initial_master_nodes: es01,es02,es03
      ES_JAVA_OPTS: ${
    ES_JAVA_OPTS}
      indices.fielddata.cache.size: 20%
      indices.breaker.fielddata.limit: 40%
      indices.breaker.request.limit: 40%
      indices.breaker.total.limit: 95%
      TAKE_FILE_OWNERSHIP: "true"
    volumes:
      - "/elasticsearch/data:/usr/share/elasticsearch/data"
    networks:
      - middle
    deploy:
      mode: global
      placement:
        constraints:
          - "node.labels.elasticsearch.cluster==node3"
networks:
  middle:
    name: middleware-network
    external: true

4.2、环境变量:elk.env

# ES内存设置
ES_JAVA_OPTS=-Xms512m -Xmx512m

5、部署

部署compose脚本的方式有两种,分别是:命令行、portainer工具

5.1、通过命令行部署

登录到任意一个Manager节点,将以下4个文件:
elasticsearch-compose.yml
elasticsearch.env
放到同一目录下,比如放到/usr/local/elasticsearch/目录

cd /usr/local/elasticsearch/
 ls ./
elasticsearch-compose.yml  elasticsearch.env

然后执行docker stack deploy 命令

cd /usr/local/elasticsearch/
set -a && . ./elasticsearch.env && set +a && docker stack deploy -c elasticsearch-compose.yml elasticsearch

5.2、通过Portainer部署

  1. 点击菜单Stacks,点击按钮Add Stack,在Name输入框输入本Stack的名称,如elasticsearch,在Build method选项中选择Web editor,并在Web editor文本域中输入文件elasticsearch-compose.yml 的内容;
  2. 点击Environment variables中的 Advanced mode,并在文本域中填入文件elasticsearch.env的内容;
  3. 点击页面底部的Deploy the stack按钮;
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/liushengit/article/details/118698240

智能推荐

海康威视网络摄像头开发流程(五)------- 直播页面测试_ezuikit 测试的url-程序员宅基地

文章浏览阅读3.8k次。1、将下载好的萤石js插件,添加到SoringBoot项目中。位置可参考下图所示。(容易出错的地方,在将js插件在html页面引入时,发生路径错误的问题)所以如果对页面中引入js的路径不清楚,可参考下图所示存放路径。2、将ezuikit.js引入到demo-live.html中。(可直接将如下代码复制到你创建的html页面中)<!DOCTYPE html><html lan..._ezuikit 测试的url

如何确定组态王与多动能RTU的通信方式_组态王ua-程序员宅基地

文章浏览阅读322次。第二步,在弹出的对话框选择,设备驱动—>PLC—>莫迪康—>ModbusRTU—>COM,根据配置软件选择的协议选期期,这里以此为例,然后点击“下一步”。第四步,把使用虚拟串口打勾(GPRS设备),根据需要选择要生成虚拟口,这里以选择KVCOM1为例,然后点击“下一步”设备ID即Modbus地址(1-255) 使用DTU时,为下485接口上的设备地址。第六步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“第五步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“_组态王ua

npm超详细安装(包括配置环境变量)!!!npm安装教程(node.js安装教程)_npm安装配置-程序员宅基地

文章浏览阅读9.4k次,点赞22次,收藏19次。安装npm相当于安装node.js,Node.js已自带npm,安装Node.js时会一起安装,npm的作用就是对Node.js依赖的包进行管理,也可以理解为用来安装/卸载Node.js需要装的东西_npm安装配置

火车头采集器AI伪原创【php源码】-程序员宅基地

文章浏览阅读748次,点赞21次,收藏26次。大家好,小编来为大家解答以下问题,python基础训练100题,python入门100例题,现在让我们一起来看看吧!宝子们还在新手村练级的时候,不单要吸入基础知识,夯实自己的理论基础,还要去实际操作练练手啊!由于文章篇幅限制,不可能将100道题全部呈现在此除了这些,下面还有我整理好的基础入门学习资料,视频和讲解文案都很齐全,用来入门绝对靠谱,需要的自提。保证100%免费这不,贴心的我爆肝给大家整理了这份今天给大家分享100道Python练习题。大家一定要给我三连啊~

Linux Ubuntu 安装 Sublime Text (无法使用 wget 命令,使用安装包下载)_ubuntu 安装sumlime text打不开-程序员宅基地

文章浏览阅读1k次。 为了在 Linux ( Ubuntu) 上安装sublime,一般大家都会选择常见的教程或是 sublime 官网教程,然而在国内这种方法可能失效。为此,需要用安装包安装。以下就是使用官网安装包安装的教程。打开 sublime 官网后,点击右上角 download, 或是直接访问点击打开链接,即可看到各个平台上的安装包。选择 Linux 64 位版并下载。下载后,打开终端,进入安装..._ubuntu 安装sumlime text打不开

CrossOver for Mac 2024无需安装 Windows 即可以在 Mac 上运行游戏 Mac运行exe程序和游戏 CrossOver虚拟机 crossover运行免安装游戏包-程序员宅基地

文章浏览阅读563次,点赞13次,收藏6次。CrossOver24是一款类虚拟机软件,专为macOS和Linux用户设计。它的核心技术是Wine,这是一种在Linux和macOS等非Windows操作系统上运行Windows应用程序的开源软件。通过CrossOver24,用户可以在不购买Windows授权或使用传统虚拟机的情况下,直接在Mac或Linux系统上运行Windows软件和游戏。该软件还提供了丰富的功能,如自动配置、无缝集成和实时传输等,以实现高效的跨平台操作体验。

随便推点

一个用聊天的方式让ChatGPT写的线程安全的环形List_为什么gpt一写list就卡-程序员宅基地

文章浏览阅读1.7k次。一个用聊天的方式让ChatGPT帮我写的线程安全的环形List_为什么gpt一写list就卡

Tomcat自带的设置编码Filter-程序员宅基地

文章浏览阅读336次。我们在前面的文章里曾写过Web应用中乱码产生的原因和处理方式,旧文回顾:深度揭秘乱码问题背后的原因及解决方式其中我们提到可以通过Filter的方式来设置请求和响应的encoding,来解..._filterconfig selectencoding

javascript中encodeURI和decodeURI方法使用介绍_js encodeur decodeurl-程序员宅基地

文章浏览阅读651次。转自:http://www.jb51.net/article/36480.htmencodeURI和decodeURI是成对来使用的,因为浏览器的地址栏有中文字符的话,可以会出现不可预期的错误,所以可以encodeURI把非英文字符转化为英文编码,decodeURI可以用来把字符还原回来_js encodeur decodeurl

Android开发——打包apk遇到The destination folder does not exist or is not writeable-程序员宅基地

文章浏览阅读1.9w次,点赞6次,收藏3次。前言在日常的Android开发当中,我们肯定要打包apk。但是今天我打包的时候遇到一个很奇怪的问题Android The destination folder does not exist or is not writeable,大意是目标文件夹不存在或不可写。出现问题的原因以及解决办法上面有说报错的中文大意是:目标文件夹不存在或不可写。其实问题就在我们的打包界面当中图中标红的Desti..._the destination folder does not exist or is not writeable

Eclipse配置高大上环境-程序员宅基地

文章浏览阅读94次。一、配置代码编辑区的样式 <1>打开Eclipse,Help —> Install NewSoftware,界面如下: <2>点击add...,按下图所示操作: name:随意填写,Location:http://eclipse-color-th..._ecplise高大上设置

Linux安装MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar_linux mysql 安装 mysql-5.6.24-1.linux_glibc2.5.x86_6-程序员宅基地

文章浏览阅读2.8k次。一,下载mysql:http://dev.mysql.com/downloads/mysql/; 打开页面之后,在Select Platform:下选择linux Generic,如果没有出现Linux的选项,请换一个浏览器试试。我用的谷歌版本不可以,换一个别的浏览器就行了,如果还是不行,需要换一个翻墙的浏览器。 二,下载完后解压缩并放到安装文件夹下: 1、MySQL-client-5.6.2_linux mysql 安装 mysql-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle