ElasticSearch|ES|架构介绍|原理浅析

news/2024/7/19 19:57:50 标签: elasticsearch, es, 数据库, database, db, 搜索引擎, 全文检索

架构介绍

节点 (Nodes):
Elasticsearch 集群由多个节点组成,每个节点是一个独立运行的 Elasticsearch 实例。节点之间通过内部通信协议相互协作。

  1. Master Node:

    • 主节点负责管理集群范围的操作,例如创建或删除索引、分配和重新分配分片、维护集群状态等。主节点并不直接参与数据存储和查询。
  2. Data Node:

    • 数据节点负责存储索引数据并执行相关的 CRUD 操作(创建、读取、更新、删除)。它们持有索引的分片,并执行实际的搜索和聚合操作。
  3. Client Node:

    • 客户端节点专门处理请求的路由、搜索和聚合计算,但不存储数据。通常客户端角色会和其他角色如数据节点合并在一起。

索引和分片 (Indices and Shards):
Elasticsearch 中的数据按照索引组织,每个索引又被划分为多个分片(默认情况下是主分片和副本分片)。这种水平分割策略使得数据可以分布在整个集群上,实现水平扩展和高可用性。

集群发现与协调 (Cluster Discovery & Coordination):
Elasticsearch 使用 Zen Discovery 进行节点间的自动发现和集群健康检查。此外,通过使用不同的选举算法确定主节点,确保集群始终有一个活跃的主节点来管理和维护集群状态。

一致性层 (Consistency Layer):
借助版本控制和乐观并发控制机制,Elasticsearch 在分布式环境中提供了一致性的保证。当对文档进行修改时,系统会跟踪文档的版本号,防止并发冲突。

数据持久化与恢复:
Elasticsearch 数据首先写入 Lucene 的倒排索引文件,然后同步至磁盘,并配合 Translog 日志(transaction log)确保在宕机时能恢复未完全提交的数据。

原理解析

Lucene 基础:
Elasticsearch 构建在 Apache Lucene 之上,Lucene 是一个强大的文本搜索库,提供了高效的索引和搜索功能。Elasticsearch 对 Lucene 进行了封装和扩展,使其成为一个分布式系统。

分布式搜索与索引:
Elasticsearch 将索引拆分成多个分片,分散存储在不同节点上。查询时,请求会被路由到拥有相关数据分片的节点上进行本地搜索,然后将结果汇聚返回给客户端。

实时性:
Elasticsearch 支持近乎实时(Near Real-Time, NRT)的索引更新和搜索,通过异步方式将内存中的索引变更刷新到磁盘,并且在每次刷新后立即使之可用于搜索。

横向扩展:
随着数据量的增长和负载需求的变化,可以通过添加更多的节点来扩展集群容量。Elasticsearch 自动管理和均衡分片在各个节点之间的分布,确保整个系统的负载均衡。

故障转移与高可用:
每个索引分片都有相应的副本分片,分布在不同的节点上。当主分片不可用时,副本分片可以自动提升为主分片,从而维持集群的高可用性和数据完整性。

Elasticsearch 结合了 Lucene 的强大搜索能力与先进的分布式系统设计,实现了高度可伸缩、高可用且易于管理的搜索和分析平台。


http://www.niftyadmin.cn/n/5409097.html

相关文章

代码还原之 函数

指令堆里逆向出来的代码有歧义&#xff0c;有三处返回&#xff0c;有嵌套IF语句&#xff0c;故推断出是个函数&#xff1b; #if 0/*27ec: 48 8d 3d 58 39 00 00 lea 0x3958(%rip),%rdi # 614b <_IO_stdin_usedBase0x14b> // rdi"COLUMNS"27f3: e8 e…

DxO PureRAW:赋予RAW图像生命,打造非凡视觉体验 mac/win版

DxO PureRAW 是一款专为RAW图像处理而设计的软件&#xff0c;旨在帮助摄影师充分利用RAW格式的优势&#xff0c;实现更加纯净、细腻的图像效果。该软件凭借其强大的功能和易于使用的界面&#xff0c;成为了RAW图像处理领域的佼佼者。 DxO PureRAW 软件获取 首先&#xff0c;Dx…

uniapp微信小程序获取当前位置

uni-app微信小程序uni.getLocation获取位置&#xff1b;authorize scope.userLocation需要在app.json中声明permission&#xff1b;小程序用户拒绝授权后重新授权-CSDN博客

Tkinter实现聊天气泡对话框

功能展示&#xff1a; 运行环境&#xff1a; Python: 3.10.4 64-bit 操作系统&#xff1a;win10 64-bit 源码文件列表&#xff1a; 部分代码说明&#xff1a; 调用该接口将消息显示在聊天框中。role参数控制消息显示的位置&#xff1a;0位于对话框左边&#xff0c;1位于右边…

云计算科学与工程实践指南--章节引言收集

云计算科学与工程实践指南–章节引言收集 //本文收集 【云计算科学与工程实践指南】 书中每一章节的引言。 我已厌倦了在一本书中阅读云的定义。难道你不失望吗&#xff1f;你正在阅读一个很好的故事&#xff0c;突然间作者必须停下来介绍云。谁在乎云是什么&#xff1f; 通…

Linux 防火墙 操作命令【实用】

防火墙操作&#xff1a; 描述命令查看防火墙状态systemctl status firewalld、firewall-cmd --state暂时关闭防火墙systemctl stop firewalld永久关闭防火墙systemctl disable firewalld开启防火墙systemctl start firewalld开放指定端口firewall-cmd --zonepublic --add-port…

Android Studio开发(一) 构建项目

1、项目创建测试 1.1 前言 Android Studio 是由 Google 推出的官方集成开发环境&#xff08;IDE&#xff09;&#xff0c;专门用于开发 Android 应用程序。 基于 IntelliJ IDEA: Android Studio 是基于 JetBrains 的 IntelliJ IDEA 开发的&#xff0c;提供了丰富的功能和插件…

将ppt里的视频导出来

将ppt的后缀从pptx改为zip 找到【media】里面有存放图片和音频以及视频&#xff0c;看文件名后缀可以找到&#xff0c;mp4的即为视频&#xff0c;直接复制粘贴到桌面即可。 关闭压缩软件把ppt后缀改回&#xff0c;不影响ppt正常使用。