Elasticsearch 8.x实战 | elasticsearch 8.x 集群离线安装_elasticsearch8版本安装详解-程序员宅基地

技术标签: 运维部署  elasticsearch  linux  大数据  

前言

本文以elasticsearch8.6.2为例详述linux集群离线部署步骤,以 官网部署教程为基础,针对部署过程中可能的疑问作说明。
因为项目安全等的原因,很多时候我们要部署的目标机器是不能访问互联网的。本文是个人离线部署过程记录,希望也能帮助到有同样需要的同学。

版本选择

elasticsearch版本的更新迭代很快,8.x相较7.x , 6.x不仅性能有了大的提升,安全成为必要选项,还增加了许多新的功能。如果纯粹是新项目考虑使用elasticsearch,建议直接考虑8.x版本。
本文选择了当前最新的稳定版本8.6.2,后期会再出一个8.6.2版本对于常用功能的支持和限制的评估清单,有需要的朋友可以关注下

环境准备

elasticsearch 8.6.2有内置的jdk,使用内置自带jdk即可,elasticsearch集群无特别依赖软件,我部署的linux版本CentOS Linux release 7.3.1611 (Core) 。1

开发环境资源有限,所以在一台服务器部署伪集群,避免冲突设置为不同端口。有资源的情况下可以部署到不同的多台机器,http端口默认9200,tcp端口默认9300

ip 端口 节点名称
192.168.56.100 http:9201 tcp:9301 node-1
192.168.56.100 http:9202 tcp:9302 node-2
192.168.56.100 http:9203 tcp:9303 node-3

集群部署

下载解压

下载地址

# 上传服务器
rz
# 解压
tar -xzf elasticsearch-8.6.2-linux-x86_64.tar.gz

run

elasticsearch不能以root账号启动,所以需要先创建非root账号,并赋权

# 创建新用户es
useradd -m -s /bin/bash es
# 设置密码
passwd xxx
# 赋权,这里赋予了dwrx所有权限,如果有限制可以降低权限
chmod -R 777 elasticsearch-8.6.2
# 进入安装目录
cd elasticsearch-8.6.2/
# 启动,退出Ctrl+z
./bin/elasticsearch

elasticsearch8.x系列默认需要密码验证和https,查看启动日志可以看到elasticsearch自动为超级管理员 elastic 生成了密码,还会生成cert认证文件到 elasticsearch-8.6.2/config/certs/目录。
这意味着该elasticsearch服务使用http协议连接时只能使用https,且需要账号/密码。比如上面说的elastic账号和自动生成的密码

The generated password for the elastic built-in superuser is:
<password>

The enrollment token for Kibana instances, valid for the next 30 minutes:
<enrollment-token>

The hex-encoded SHA-256 fingerprint of the generated HTTPS CA DER-encoded certificate:
<fingerprint>

You can complete the following actions at any time:
Reset the password of the elastic built-in superuser with
'bin/elasticsearch-reset-password -u elastic'.

Generate an enrollment token for Kibana instances with
'bin/elasticsearch-create-enrollment-token -s kibana'.

Generate an enrollment token for Elasticsearch nodes with
'bin/elasticsearch-create-enrollment-token -s node'.

![在这里插入图片描述](https://img-blog.csdnimg.cn/79b4260aa85c428ea8386f845bf2b4da.png在这里插入图片描述

现在我们可以通过如下方式验证启动状态,会提示输入密码,密码就是上述截图中的elastic对应的密码

curl --cacert $ES_HOME/config/certs/http_ca.crt -u elastic https://localhost:9200

返回结果

{
    
  "name" : "localhost.localdomain",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "qnuRTH8gSEaGAiIzc_KAzA",
  "version" : {
    
    "number" : "8.6.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "2d58d0f136141f03239816a4e360a8d17b6d8f29",
    "build_date" : "2023-02-13T09:35:20.314882762Z",
    "build_snapshot" : false,
    "lucene_version" : "9.4.2",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

实际使用情况我们肯定是自己会再生成密码,可以使用如下命令为elastic修改密码或创建新用户并给定密码

bin/elasticsearch-reset-password -u user1 -i <password>

配置

重要配置elasticsearch.yml

path配置

默认es的日志和数据存储放在es的安装目录,这种在升级情况下很容易被删掉。所以官方推荐指定非安装目录的路径

path:
  data: /var/data/elasticsearch
  logs: /var/log/elasticsearch
设置集群名称
# 集群名称每个节点都必须配置成一样
cluster.name: my-cluster
设置节点名称
node.name: node-1
设置端口
transport.port: 9301
http.port: 9201
网络host
# 设置为所在主机ip
network.host: 192.168.56.100
集群发现设置

默认es会扫描本机9300-9305的节点加入集群,如果部署在不同机器就必须设置.
这里设置本机的三个节点

discovery.seed_hosts:
   - 192.168.56.100:9301
   - 192.168.56.100:9302
   - 192.168.56.100:9303

候选主节点设置,开发、测试环境可以数据节点和master节点不分开。生产,特别是大型集群,官方推荐区分节点角色

# 注意默认有配这个这个配置,需要改到原配置下,或者注释已有配置
cluster.initial_master_nodes: 
   - node-1
   - node-2
   - node-3

重要配置jvm.options

开发环境资源有限,修改使用的内存.可以视内存情况设定,生产一般建议是机器内存的一半,且不超过32G

cd elasticsearch-8.6.2/config
-Xms1g
-Xmx1g

部署集群

创建多个节点
# 创建集群目录
mkdir escluster8.6.2
# 把前面的elasticsearch-8.6.2目录复制到刚刚创建的集群目录,并改名node-1
mv  elasticsearch-8.6.2 escluster8.6.2/node-1
cd escluster8.6.2
# 复制jar到当前目录,这里为了使用全新的节点
cp ../elasticsearch-8.6.2-linux-x86_64.tar.gz ./
# 解压
tar -xzf elasticsearch-8.6.2-linux-x86_64.tar.gz
cp -r elasticsearch-8.6.2 node-2
mv elasticsearch-8.6.2 node-3
# 删除tar包
rm -rf elasticsearch-8.6.2-linux-x86_64.tar.gz

注意是使用es用户的情况下操作,如果使用的是root用户,请授权这些目录的所有者为上面步骤创建的新用户es

chown -R es escluster8.6.2

修改node-2和node-3的jvm.options配置文件,增加配置

-Xms1g
-Xmx1g

修改node-2的配置文件elasticsearch.yml

http.host: 192.168.56.100
cluster.name: es8-cluster
node.name: node-2
network.host: 192.168.56.100
http.port: 9202
transport.port: 9302

修改node-3的配置文件elasticsearch.yml

http.host: 192.168.56.100
cluster.name: es8-cluster
node.name: node-3
network.host: 192.168.56.100
http.port: 9203
transport.port: 9303

获取新节点加入集群的token

# node-1节点的目录下执行
bin/elasticsearch-create-enrollment-token -s node

使用生成的token分别在node-2,node-3的bin目录下执行

elasticsearch --enrollment-token <enrollment-token>

会自动生成认证文件config/certs,并配置到elasticsearch.yml中。同时配置了discovery.seed_hosts,但是只配置了节点1,我们一般开发环境会让3个节点都即可以是master节点又是数据节点。所以这里可以改后重启

discovery.seed_hosts:
   - 192.168.56.100:9301
   - 192.168.56.100:9302
   - 192.168.56.100:9303
cluster.initial_master_nodes: 
   - node-1
   - node-2
   - node-3
启动

这里说明下一般情况下的启动命令。
后台启动各个节点,每个节点都需要执行下面命令。注意切换到es账号,su es

./elasticsearch -d -p pid
停止

这里说明下一般情况下的停止命令。

ps -ef|grep elasticsearch
kill -p pid

问题解决

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

系统虚拟内存默认最大映射数为65530,无法满足ES系统要求,需要调整为262144以上

#修改文件
sudo vim /etc/sysctl.conf
#添加参数
vm.max_map_count = 262144

重新加载生效

sysctl -p

kibana安装

因为8.x默认开启了https和密码认证,需要配置kibana和elasticsearch集群连接的认证文件等。建议使用token方式连接elasticsearch集群,更简单。

下载kibana

官网下载
上传到目标服务器,并解压

tar -xzvf kibana-8.6.2-linux-x86_64.tar.gz

授权目录所有者为es

chown -R es kibana-8.6.2
使用token方式连接elasticsearch集群

修改配置文件config/kibana.yml, host配置为kibana所在的服务器ip

server.host: "192.168.56.100"

生成token

# 任一elasticsearch集群执行,这里选择node-1
node-1/bin/elasticsearch-create-enrollment-token -s kibana

注意切换到es用户启动(kibana也不建议使用root账号启动)

bin/kibana --enrollment-token <enrollment-token>

启动成功日志的最后会打印出一个code,记录该code
浏览器访问http://192.168.56.100:5601
首先会提示输入一个类似激活码的,就把上面记录的code录入;然后会弹出登录界面,输入elastic超级管理员的账密即可登入
至此kibana已成功安装并连接elasticsearch集群

配置

使用token方式连接集群成功后也是会自动生成一些认证的文件,和添加相应的配置到kibana.yml中。查看kibana.yml可以看到连接到的节点可能只有一个,可以加入其他两个节点

cat config/kibana.yml
# xpack.fleet.outputs:中的hosts同理配置
elasticsearch.hosts: ['https://192.168.56.100:9201','https://192.168.56.100:9202', 'https://192.168.56.100:9203']

  1. 查看命令 cat /etc/redhat-release)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xd15074483478/article/details/129516708

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签