文档章节

elasticsearch 的python api

 浮云飘飘
发布于 2016/05/31 14:21
字数 949
阅读 2490
收藏 4

http://blog.csdn.net/cnweike/article/details/33736429

es教程:http://es.xiaoleilu.com/010_Intro/35_Tutorial_Aggregations.html
es python api:http://elasticsearch-py.readthedocs.io/en/latest/

安装API

pip install elasticsearch

建立es连接

from elasticsearch import Elasticsearch
es = Elasticsearch([{'host':'10.10.13.12','port':9200}])

数据检索功能

es.search(index='logstash-2015.08.20', q='http_status_code:5* AND server_name:"web1"', from_='124119')

- took —— Elasticsearch执行这个搜索的耗时,以毫秒为单位
- timed_out —— 指明这个搜索是否超时

- _shards —— 指出多少个分片被搜索了,同时也指出了成功/失败的被搜索的shards的数量
 - hits —— 搜索结果
  - hits.total —— 能够匹配我们查询标准的文档的总数目
   - hits.hits —— 真正的搜索结果数据(默认只显示前10个文档)

 

 Elasticsearch中的所有的查询都会触发相关度得分的计算。对于那些我们不需要相关度得分的场景下,Elasticsearch以过滤器的形式提供了另一种查询功能。过滤器在概念上类似于查询,但是它们有非常快的执行速度,这种快的执行速度主要有以下两个原因
    
        - 过滤器不会计算相关度的得分,所以它们在计算上更快一些
        - 过滤器可以被缓存到内存中,这使得在重复的搜索查询上,其要比相应的查询快出许多。
        

常用参数

  • index - 索引名
  • q - 查询指定匹配 使用Lucene查询语法
  • from_ - 查询起始点  默认0
  • doc_type - 文档类型
  • size - 指定查询条数 默认10
  • field - 指定字段 逗号分隔
  • sort - 排序  字段:asc/desc
  • body - 使用 Query DSL
  • scroll - 滚动查询

统计查询功能

# 语法同search大致一样,但只输出统计值

In[52]: es.count(index='logstash-2015.08.21', q='http_status_code:500')
Out[52]:{u'_shards':{u'failed':0, u'successful':5, u'total':5}, u'count':17042}

知识扩展

  • 滚动demo
# Initialize the scroll
page = es.search(
  index ='yourIndex',
  doc_type ='yourType',
  scroll ='2m',
  search_type ='scan',
  size =1000,
  body ={
  # Your query's body
})
sid = page['_scroll_id']
scroll_size = page['hits']['total']
# Start scrolling
while(scroll_size >0):
  print "Scrolling..."
  page = es.scroll(scroll_id = sid, scroll ='2m')
  # Update the scroll ID
  sid = page['_scroll_id']
  # Get the number of results that we returned in the last scroll
  scroll_size = len(page['hits']['hits'])
  print "scroll size: "+ str(scroll_size)
  # Do something with the obtained page

以上demo实现了一次取若干数据,数据取完之后结束,不会获取到最新更新的数据。我们滚动完之后想获取最新数据怎么办?滚动的时候会有一个统计值,如total: 5。跳出循环之后,我们可以用_from参数定位到5开始滚动之后的数据。

  • Query DSL

range过滤器查询范围

gt: > 大于

lt: < 小于

gte: >= 大于或等于

lte: <= 小于或等于

"range":{
    "money":{
        "gt":20,
        "lt":40
    }
}
  1.  

bool组合过滤器

must:所有分句都必须匹配,与 AND 相同。

must_not:所有分句都必须不匹配,与 NOT 相同。

should:至少有一个分句匹配,与 OR 相同。

{
    "bool":{
      "must":[],
      "should":[],
      "must_not":[],
    }
}

term过滤器

  • term单过滤
{
    "terms":{
      "money":20
    }
}
  • terms复数版本,允许多个匹配条件
{
    "terms":{
      "money": [20,30]
    }
}

match查询

  • match 精确匹配
{
    "match":{
      "email":"123456@qq.com"
    }
}
  • multi_match 多字段搜索
{
    "multi_match":{
      "query":"11",
      "fields":["Tr","Tq"]
    }
}

demo

  • 获取最近一小时的数据
{'query':
    {'filtered':
        {'filter':
            {'range':
                {'@timestamp':{'gt':'now-1h'}}
            }
        }
    }
}
  1.  
  • 条件过滤查询
{
    "query":{
        "filtered":{
            "query":{"match":{"http_status_code":500}},
            "filter":{"term":{"server_name":"vip03"}}
        }
    }
}
  • Terms Facet 单字段统计
{'facets':
  {'stat':
    {'terms':
      {'field':'http_status_code',
        'order':'count',
    'size':50}
    }
  },
  'size':0
}
  • 一次统计多个字段
{'facets':
  {'cip':
    {'terms':
      {'fields':['client_ip']}},
        'status_facets':{'terms':{'fields':['http_status_code'],
        'order':'term',
        'size':50}}},
    'query':{'query_string':{'query':'*'}},
  'size':0
}
  • 多个字段一起统计
{'facets':
  {'tag':
    {'terms':
      {'fields':['http_status_code','client_ip'],
        'size':10
       }
    }
  },
  'query':
    {'match_all':{}},
  'size':0
}

数据组装

以下是kibana首页的demo,用来统计一段时间内的日志数量

{
  "facets": {
    "0": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "5m"
      },
      "facet_filter": {
        "fquery": {
          "query": {
            "filtered": {
              "query": {
                "query_string": {
                  "query": "*"
                }
              },
              "filter": {
                "bool": {
                  "must": [
                    {
                      "range": {
                        "@timestamp": {
                          'gt': 'now-1h'
                        }
                      }
                    },
                    {
                      "exists": {
                        "field": "http_status_code.raw"
                      }
                    },
                    # --------------- -------
                    # 此处加匹配条件
                  ]
                }
              }
            }
          }
        }
      }
    }
  },
  "size": 0
}

如果想添加匹配条件,在以上代码标识部分加上过滤条件,按照以下代码格式即可

{
"query": {
    "query_string": {"query": "backend_name:baidu.com"}
    }
},

本文转载自: http://www.cnblogs.com/letong/p/4749234.html

粉丝 23
博文 152
码字总数 95225
作品 0
洛阳
私信 提问
Elasticsearch 1.7.0/1.6.1 发布,分布式搜索引擎

Elasticsearch 1.7.0 正式发布,基于 Lucene 4.10.4。同时还发布了 Elasticsearch 1.6.1 bug 修复版本。这两个版本都包括一个安全修复,建议所有用户升级最新版本! 下载: 最新稳定版: El...

淡漠悠然
2015/07/17
4.8K
10
elasticsearch curator离线源码安装

1.安装setuptools wget https://pypi.io/packages/source/s/setuptools/setuptools-33.1.1.zip unzip setuptools-33.1.1.zip cd setuptools-33.1.1 python setup.py install 2.安装urllib3 w......

yuanyb
2017/10/20
0
0
Python与Elasticsearch的接口【未测试】

Python与Elasticsearch的接口 目前,有两个标准库提供了Python与Elasticsearch之间的接口:https://elasticsearch-py.readthedocs.io/en/master/http://pyelasticsearch.readthedocs.io/en/......

dragon_tech
2018/12/20
0
0
Python学习笔记 - 02: 用Python Client连接ElasticSearch操作数据

Python Elasticsearch Client 是 ES 官方推荐的 python 客户端,这里以它为工具操作 elasticsearch 一、环境依赖 Python:3.6 ES依赖包:pyelasticsearch ElasticSearch:6.5.4 操作系统:M...

dragon_tech
03/13
0
0
raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info)

python 连接 elasticsearch 的时候报错: 原因:Python Elasticsearch Client的版本与Elasticsearch 的版本不一致,版本的对应关系如下 如何查询版本? Elasticsearch Python Elasticsearch...

十动然拒
02/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

我为什么要写微信公众号

埋一颗种子,细心呵护,静待她枝繁叶茂,葱郁参天 V2论坛上有个帖子【做程序员最重要的还是一定要有自己的作品】,作者写道: 能有一个作品和你的名字联系在一起,应当成为在职业生涯前期着意...

运维咖啡吧
52分钟前
3
0
数据库

数据库架构 数据库架构可以分为存储文件系统和程序实例两大块,而程序实例根据不同的功能又可以分为如下小模块。 1550644570798 索引模块 常见的问题有: 为什么要使用索引 什么样的信息能成...

一只小青蛙
今天
5
0
PHP常用经典算法实现

<? //-------------------- // 基本数据结构算法 //-------------------- //二分查找(数组里查找某个元素) function bin_sch($array, $low, $high, $k){ if ( $low <= $high){ $mid = int......

半缘修道半缘君丶
昨天
5
0
GIL 已经被杀死了么?

本文原创并首发于公众号【Python猫】,未经授权,请勿转载。 原文地址:https://mp.weixin.qq.com/s/8KvQemz0SWq2hw-2aBPv2Q 花下猫语: Python 中最广为人诟病的一点,大概就是它的 GIL 了。...

豌豆花下猫
昨天
8
0
git commit message form

commit message一般包括3部分:Header、Body、Footer。 <type>(<scope>):<subject>blank line<body>blank line<footer> header是必需的,body、footer可以省略。 header中type、subject......

ninjaFrog
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部