当前位置: 首页>数据库>正文

es百万数据分页 es大数据量分页

一、 要解决的问题

  1. search命中的记录特别多,使用from+size分页,直接触发了elasticsearch的max_result_window的最大值;
{
  "error": {
    "root_cause": [
      {
        "type": "query_phase_execution_exception",
        "reason": "Result window is too large, from + size must be less than or equal to: [10000] but was [10001]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "shirts",
        "node": "OBkTpZcTQJ25kmlNZ6xyLg",
        "reason": {
          "type": "query_phase_execution_exception",
          "reason": "Result window is too large, from + size must be less than or equal to: [10000] but was [10001]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
        }
      }
    ]
  },
  "status": 500
}
  1. 将elasticsearch作为数据库使用,直接将max_result_window设置一个很大的值,但是数据量大了很影响查询性能;

二、elasticsearch支持的分页方式

elasticsearch提供了三种分页的查询方式,以支持不同的查询场景;

from + size

search after

scroll

以下测试使用的是 elasticsearch 6.8

三、 from + size 分页

from + size是使用最普遍的search分页方案;

from: 设置要返回第一条记录的相对位置,默认值为0;

size: 此次search返回的最大记录数量, 默认值为10;

我们可以直接从第11条记录开始,返回最多10条记录;

GET my_store_index/_search
{
  "query": {
    "match": {
      "name": "bj"
    }
  },
  "from": 10,
  "size": 10
}

此种分页方式特点

  1. 特别适合随机获取记录,实现类似商用搜索引擎的分页功能;
  2. 由于from + size是无状态的,搜索的时候,每个分片都需要返回from + size条记录,最终将所有分片的记录进行合并再返回size条记录;
  3. 受限实现机制,越靠后的记录查询性能越差,故elasticsearch默认设置max_result_window=10000,如果from + size超过这个值就会报错;

四、search after分页

即使我们将max_result_window调整成一个更大的值,但是当我们命中的结果比较多的时候,使用from + size的分页效果就会比较差;

elasticsearch提供的search after可以帮助我们解决这个问题;search after可以利用请求中包含的上一页的信息来帮助查询下一页的记录;

起始搜索如下,需要添加sort字段,并使用id作为排序字段;这里的排序字段需要确保每个document都是不同的,这样才能确保排序的唯一性;

GET my_store_index/_search
{
  "_source": false, 
  "query": {
    "match": {
      "name": "bj"
    }
  },
  "size": 10,
  "sort": [
    {
      "id": {
        "order": "desc"
      }
    }
  ]
}

我们可以看到返回结果中包含了sort字段,里边包含了命中记录对应的sort的值;

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 25,
    "max_score" : null,
    "hits" : [
      {
        "_index" : "my_store_index",
        "_type" : "_doc",
        "_id" : "f64cf9f4-db2b-4059-bf97-315fe95f233c",
        "_score" : null,
        "sort" : [
          "f64cf9f4-db2b-4059-bf97-315fe95f233c"
        ]
      }
    ]
  }
}

我们使用上一个请求中的sort的值作为以下请求中search_after的参数,来查询下一页的数据;

GET my_store_index/_search
{
  "_source": false, 
  "query": {
    "match": {
      "name": "bj"
    }
  },
  "size": 10,
  "search_after":["f64cf9f4-db2b-4059-bf97-315fe95f233c"],
  "sort": [
    {
      "id": {
        "order": "desc"
      }
    }
  ]
}

此种分页方式的特点

  1. 需要指定一个值唯一的排序字段,通过返回记录的sort值对应的记录作为from的记录;
  2. 此种分页查询方式也是无状态的,分页的时候需要依赖search_after参数作为起始点,这样就可以直接跳过已经获取过的记录;
  3. 可以通过当前时间点最后一条记录的sort值,同时通过size来控制同时获取多页的记录来实现简单的向后随机翻页;
  4. 需要记录已经加载的每页起始的sort值,可以实现前向的随机翻页;

我们分别使用from+size、search after查询第二个10000条记录,查看两者执行时间,可以发现search after快将近2s;

GET my_store_index/_search
{  
  "_source":["id"], 
  "query": {
    "match_phrase_prefix": {
      "deviceData.content": "us"
    }
  },
  "size": 10000,
  "from": 10000
}

{
    "took":8212,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "skipped":0,
        "failed":0
    },
    "hits":{
        "total":29908,
        "max_score":97.09149
    }
}
GET my_store_index/_search
{
  "_source":["id"], 
  "query": {
    "match_phrase_prefix": {
      "deviceData.content": "us"
    }
  },
  "size": 10000,
  "sort": [
    {
      "id": {
        "order": "desc"
      }
    }
  ],
  "search_after":["aa877c87-bb08-4fbd-8a51-ed4ebaa57251"]
}

{
    "took":6320,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "skipped":0,
        "failed":0
    },
    "hits":{
        "total":29908,
        "max_score":null
    }
}

五、scroll访问整个数据集

elasticsearch提供的scroll可以实现一个请求返回所有命中记录,我们可以使用类似关系数据库中的游标的方式来获取命中的记录; scroll并不是为了实现实时的搜索请求,更多的是为了处理大量的数据,尤其适合从某一个index进行重新索引;

为了使用scroll,我们需要在url里通过scroll指定elasticsearch需要保留搜索结果的时间;

GET my_store_index/_search?scroll=1m
{
  "_source": false, 
  "query": {
    "match": {
      "name": "bj"
    }
  },
  "size": 2
}

{
  "_scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAb0Fk9Ca1RwWmNUUUoyNWttbE5aNnh5TGcAAAAAAAAG8xZPQmtUcFpjVFFKMjVrbWxOWjZ4eUxnAAAAAAAABvUWT0JrVHBaY1RRSjI1a21sTlo2eHlMZwAAAAAAAAb2Fk9Ca1RwWmNUUUoyNWttbE5aNnh5TGcAAAAAAAAG9xZPQmtUcFpjVFFKMjVrbWxOWjZ4eUxn",
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 25,
    "max_score" : 3.5134304,
    "hits" : [      
    ]
  }
}

我们使用上边请求返回的_scroll_id来获取下一页的数据;

GET _search/scroll
{
  "scroll" : "1m", 
  "scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAdlFk9Ca1RwWmNUUUoyNWttbE5aNnh5TGcAAAAAAAAHZhZPQmtUcFpjVFFKMjVrbWxOWjZ4eUxnAAAAAAAAB2cWT0JrVHBaY1RRSjI1a21sTlo2eHlMZwAAAAAAAAdoFk9Ca1RwWmNUUUoyNWttbE5aNnh5TGcAAAAAAAAHaRZPQmtUcFpjVFFKMjVrbWxOWjZ4eUxn"
}

此种分页方式的特点

  1. 首次查询通过query string参数指定scroll的时间,elasticsearch会自动生成一个scroll并返回对应的id;
  2. 此查询是一种有状态的查询,不会实时响应索引变化;
  3. 每次请求返回的记录数通过首次请求设置的size参数控制;
  4. 返回scroll对应的全部记录之后再查询就返回空数组;
  5. scroll参数控制每次请求之后elasticsearch保留scroll的时间;



https://www.xamrdz.com/database/6c41928760.html

相关文章: