Elasticsearch:处理 Elasticsearch 中的字段名称不一致

news/2024/7/19 20:42:36 标签: elasticsearch, 大数据, 搜索引擎, 全文检索

在 Elasticsearch 中,经常会遇到类似数据的不同索引具有不同字段名称的情况。 例如,一个索引可能使用字段名 level 来表示日志级别,而另一个索引可能使用 log_level 来达到相同目的。 出现这种不一致的原因有多种,例如不同的团队使用不同的命名约定、不断发展的数据模型或集成来自不同来源的数据。

跨两个索引搜索日志级别

要在 loglevel_test1 和 loglevel_test2 索引中搜索日志级别为 “info” 的所有文档,考虑到不同的字段名称,你可以按如下方式构建查询:

PUT loglevel_test1/_doc/1
{
  "level":"This is a very useful info in test1"
}

DELETE loglevel_test2
PUT loglevel_test2/_doc/1
{
  "log_level":"This is a very useful info in test2"
}


GET loglevel_test1,loglevel_test2/_search?filter_path=**.hits
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "level": "info"
          }
        },
        {
          "term": {
            "log_level": "info"
          }
        }
      ],
      "minimum_should_match": 1
    }
  }
}

此查询检查 loglevel_test1 中的 level 字段和 loglevel_test2 中的 log_level 字段的值 “info”。 在 bool 查询中使用 should 子句可以灵活地匹配任一条件。 minimum_should_match 参数确保文档匹配时至少有一个条件为真,从而从两个索引返回所有相关文档。

上述查询的结果为:

{
  "hits": {
    "hits": [
      {
        "_index": "loglevel_test2",
        "_id": "1",
        "_score": 0.2876821,
        "_source": {
          "log_level": "This is a very useful info in test2"
        }
      },
      {
        "_index": "loglevel_test1",
        "_id": "1",
        "_score": 0.12343237,
        "_source": {
          "level": "This is a very useful info in test1"
        }
      }
    ]
  }
}

使用 alias 来完成

我们可以参考文章 “Elasticsearch : alias 数据类型”。在索引中,我们可以为 loglevel_test2 定义如下的 alias:

PUT loglevel_test2/_mapping
{
  "properties": {
    "level": {
      "type": "alias",
      "path": "log_level"
    }
  }
}

这样 level 也就是 log_level 的别名。我们再次使用如下的命令来进行搜索:

GET loglevel_test1,loglevel_test2/_search?filter_path=**.hits
{
  "query": {
    "match": {
      "level": "info"
    }
  }
}

上面搜索的结果是:

{
  "hits": {
    "hits": [
      {
        "_index": "loglevel_test1",
        "_id": "1",
        "_score": 0.2876821,
        "_source": {
          "level": "This is a very useful info in test1"
        }
      },
      {
        "_index": "loglevel_test2",
        "_id": "1",
        "_score": 0.2876821,
        "_source": {
          "log_level": "This is a very useful info in test2"
        }
      }
    ]
  }
}

当然上面的搜索索引名称也有一大串。在使用的时候并不方便。我们可以再次使用如下的技巧来进行精简:

GET loglevel_test*/_search?filter_path=**.hits
{
  "query": {
    "match": {
      "level": "info"
    }
  }
}

http://www.niftyadmin.cn/n/5146450.html

相关文章

单元测试一(理论)-云计算2023.11-云南农业大学

文章目录 一.选择题二、多选题三、填空题 一.选择题 “云计算”名称中的“云”,其渊源来源于以下哪种说法? A. 云计算某些方面向云一样不可捉摸 B. 云计算的支撑技术互联网常以一个云状图案来表示,因此提供资源的网络…

SpringBoot绑定配置文件中变量的四种方式-解析

当在Spring Boot中需要绑定配置文件中的变量时,可以使用以下注解: PropertySource:用于指定要加载的属性文件。可以将该注解放置在Configuration类上。 Configuration PropertySource("classpath:application.properties") public…

什么是预编译和编译器优化?如何进行代码优化?

在C语言编程中,预编译和编译器优化是构建和优化程序的两个重要步骤。它们的主要任务是将源代码转化为可执行程序,并在尽可能短的时间内实现最佳性能。下面我们将详细解释这两个概念以及如何进行代码优化。 预编译(Preprocessing)…

PHP隐藏手机号码、银行卡号、真实姓名部分方法

1、隐藏手机号码,隐藏手机号中间部分 /*** 隐藏手机号码* param int $mobile 手机号码* param int $head 头部显示数* param int $tail 尾部显示数* param string $hide_str 隐藏字符串* return string*/ function getHiddenMobile($mobile, $head 3, $tail 4, $hide_str *…

Unity AssetBundle批量打包、加载(场景、Prefab)完整流程

目录 1、文章介绍 2、具体思路和写法 (1)AB包的打包 (2)AB包的加载 (3)AB包卸载 3、结语 1、文章介绍 本篇博客主要起记录和学习作用,简单的介绍一下AB包批量的打包和加载AB包的方式&…

2023-10-31 LeetCode每日一题(每棵子树内缺失的最小基因值)

2023-10-31每日一题 一、题目编号 2003. 每棵子树内缺失的最小基因值二、题目链接 点击跳转到题目位置 三、题目描述 有一棵根节点为 0 的 家族树 ,总共包含 n 个节点,节点编号为 0 到 n - 1 。给你一个下标从 0 开始的整数数组 parents &#xff0…

协同办公系统:企业提质增效的利器

随着科技的不断发展,企业对于提高工作效率、优化管理流程、降低成本的需求日益迫切。协同办公系统应运而生,成为了许多企业提质增效的利器。那么,协同办公系统究竟是如何帮助企业实现这些目标的呢?本文将从以下几个方面进行详细阐…

CSS的基本知识

1.什么是 CSS? CSS 指层叠样式表 (Cascading Style Sheets)样式定义如何显示 HTML 元素样式通常存储在样式表中把样式添加到 HTML 4.0 中,是为了解决内容与表现分离的问题外部样式表可以极大提高工作效率外部样式表通常存储在 CSS 文件中多个样式定义可层叠为一个…