文档章节

Elasticsearch mapping conflict

MrYx3en
 MrYx3en
发布于 2015/11/16 17:46
字数 997
阅读 52
收藏 0
点赞 0
评论 0


\\

0> head -n 3 upload_ori_size.log | grep ori_size
{ "http_host": "bj.unistore.weibo.cn", "private": "public", "orilog": "lar", "mklog": "mkstr:[3|.\/images\/weibo_logo_small.png|@-他们叫我三哥哥|weibo.com\/u\/5155207263]", "ori_md5": "db302e49b603314db80e258d775e1f7f", "uid": "5155207263", "cachepath": "\/weibo_img\/filer_cache\/t_cache\/136\/098\/005CSIUfjw1ey2y4c1gjtj30dc0hsad1", "pid": "005CSIUfjw1ey2y4c1gjtj30dc0hsad1", "ori_size": "115296", "app": "mobile", "datetime": "2015-11-16 17:31:33", "@timestamp": "2015-11-16T17:31:33+0800", "message": " 2015-11-16 17:31:33#011Store: mobile 115296 005CSIUfjw1ey2y4c1gjtj30dc0hsad1 \/weibo_img\/filer_cache\/t_cache\/136\/098\/005CSIUfjw1ey2y4c1gjtj30dc0hsad1 5155207263 db302e49b603314db80e258d775e1f7f mkstr:[3|.\/images\/weibo_logo_small.png|@-他们叫我三哥哥|weibo.com\/u\/5155207263] lar public bj.unistore.weibo.cn", "host": "upl001.weibo.imgbed.bx.sinanode.com", "type": "weibo_img_upload_app_access" }

\\

0> head -n 2 service_response_time.log | grep response_time
{ "datauri": "155\/065\/9b41314fa57b5030be1a6967e67f89fa0000781f.thu?pid=66d7742cjw6dfar2jseojj", "datahost": "data11.bj.storage.t.sinaimg.cn", "response_time": "1110.89", "file_size": "5819", "action": "DOWN", "idc": "bjcnc", "datetime": "2015-11-16 17:35:06", "@timestamp": "2015-11-16T17:35:06+0800", "message": " 2015-11-16 17:35:06#011- - - - - ACCESS bjcnc DOWN 5819 1110.89 http:\/\/data11.bj.storage.t.sinaimg.cn\/155\/065\/9b41314fa57b5030be1a6967e67f89fa0000781f.thu?pid=66d7742cjw6dfar2jseojj", "host": "svc001.weibo.imgbed.bx.sinanode.com", "type": "weibo_img_service_app_access" }

\\

0> head -n 10 replicator_access.log | grep file_size
{"host":"rep001.weibo.imgbed.bx.sinanode.com", "download_speed": "612234.0", "cost_time": "0.690773", "file_size": 422915, "file_path": "\/weibo_img\/filer_cache\/t_cache\/047\/131\/b7d4e5c8gw1ey2wsz09rhj20xc18g13x.lar", "id": "7294", "level": "INFO", "fromidc": "GZ", "service": "replicate", "ms": "230", "@timestamp": "2015-11-16T16:46:03+0800", "type": "weibo_img_replicator_app_access" }

\\ service mapping

130> curl -XGET http://10.19.0.64:9200/logstash-php-2015.11.10/weibo_img_service_app/_mapping?pretty
{
  "logstash-php-2015.11.10" : {
    "mappings" : {
      "weibo_img_service_app" : {
        "dynamic_templates" : [ {
          "message_field" : {
            "mapping" : {
              "index" : "analyzed",
              "omit_norms" : true,
              "store" : false,
              "type" : "string"
            },
            "match" : "message",
            "match_mapping_type" : "string"
          }
        }, {
          "string_fields" : {
            "mapping" : {
              "ignore_above" : 256,
              "index" : "not_analyzed",
              "store" : false,
              "type" : "string",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "string"
          }
        }, {
          "long_fields" : {
            "mapping" : {
              "type" : "long",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "long"
          }
        }, {
          "integer_fields" : {
            "mapping" : {
              "type" : "integer",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "integer"
          }
        }, {
          "double_fields" : {
            "mapping" : {
              "type" : "double",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "double"
          }
        }, {
          "float_fields" : {
            "mapping" : {
              "type" : "float",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "float"
          }
        } ],
        "_all" : {
          "enabled" : true
        },
        "properties" : {
          "@timestamp" : {
            "type" : "date",
            "doc_values" : true,
            "format" : "dateOptionalTime"
          },
          "action" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "city" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "clientip" : {
            "type" : "ip",
            "doc_values" : true
          },
          "datahost" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "datauri" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "datetime" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "details" : {
            "type" : "object",
            "enabled" : false
          },
          "end_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "error_no" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "error_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "file_size" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "geoip" : {
            "dynamic" : "true",
            "properties" : {
              "location" : {
                "type" : "geo_point"
              }
            }
          },
          "host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "idc" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "jsoncontent" : {
            "dynamic" : "true",
            "properties" : {
              "content" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 8092
              }
            }
          },
          "jsonlog" : {
            "type" : "string",
            "index" : "no"
          },
          "logsource" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "message" : {
            "type" : "string",
            "norms" : {
              "enabled" : false
            }
          },
          "originalmsg" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_id" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_length" : {
            "type" : "long",
            "doc_values" : true
          },
          "pic_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "rtt" : {
            "type" : "double",
            "doc_values" : true
          },
          "start_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "timestamp" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "uid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "unparsed-data" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "video_buffer_duration" : {
            "type" : "long",
            "doc_values" : true
          },
          "video_duration" : {
            "type" : "double",
            "doc_values" : true
          },
          "video_request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_time_duration" : {
            "type" : "nested",
            "properties" : {
              "duration" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              },
              "type" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              }
            }
          },
          "wm" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          }
        }
      }
    }
  }
}

\\ upload mapping

0> curl -XGET http://10.19.0.64:9200/logstash-php-2015.11.10/weibo_img_upload_app/_mapping?pretty
{
  "logstash-php-2015.11.10" : {
    "mappings" : {
      "weibo_img_upload_app" : {
        "dynamic_templates" : [ {
          "message_field" : {
            "mapping" : {
              "index" : "analyzed",
              "omit_norms" : true,
              "store" : false,
              "type" : "string"
            },
            "match" : "message",
            "match_mapping_type" : "string"
          }
        }, {
          "string_fields" : {
            "mapping" : {
              "ignore_above" : 256,
              "index" : "not_analyzed",
              "store" : false,
              "type" : "string",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "string"
          }
        }, {
          "long_fields" : {
            "mapping" : {
              "type" : "long",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "long"
          }
        }, {
          "integer_fields" : {
            "mapping" : {
              "type" : "integer",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "integer"
          }
        }, {
          "double_fields" : {
            "mapping" : {
              "type" : "double",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "double"
          }
        }, {
          "float_fields" : {
            "mapping" : {
              "type" : "float",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "float"
          }
        } ],
        "_all" : {
          "enabled" : true
        },
        "properties" : {
          "@timestamp" : {
            "type" : "date",
            "doc_values" : true,
            "format" : "dateOptionalTime"
          },
          "action_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "app" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "cachepath" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "clientip" : {
            "type" : "ip",
            "doc_values" : true
          },
          "datetime" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "details" : {
            "type" : "object",
            "enabled" : false
          },
          "end_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "geoip" : {
            "dynamic" : "true",
            "properties" : {
              "location" : {
                "type" : "geo_point"
              }
            }
          },
          "host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "http_host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "jsoncontent" : {
            "dynamic" : "true",
            "properties" : {
              "content" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 8092
              }
            }
          },
          "jsonlog" : {
            "type" : "string",
            "index" : "no"
          },
          "location" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "logsource" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "message" : {
            "type" : "string",
            "norms" : {
              "enabled" : false
            }
          },
          "mklog" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "ori_md5" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "ori_size" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "orilog" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_length" : {
            "type" : "long",
            "doc_values" : true
          },
          "pid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "private" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "rtt" : {
            "type" : "double",
            "doc_values" : true
          },
          "start_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "timestamp" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "uid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "video_buffer_duration" : {
            "type" : "long",
            "doc_values" : true
          },
          "video_duration" : {
            "type" : "double",
            "doc_values" : true
          },
          "video_request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_time_duration" : {
            "type" : "nested",
            "properties" : {
              "duration" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              },
              "type" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              }
            }
          },
          "wm" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          }
        }
      }
    }
  }
}


© 著作权归作者所有

共有 人打赏支持
MrYx3en
粉丝 9
博文 88
码字总数 30598
作品 0
宝鸡
系统管理员
elasticsearch搜索建议Completion Suggester

目的:实现淘宝、京东搜索建议功能 准备环境:安装elasticsearch, 并安装拼音插件(https://github.com/medcl/elasticsearch-analysis-pinyin)。我安装的环境为当前最新版6.2.4。 参考官网教...

杰仪 ⋅ 05/12 ⋅ 0

Spark中hive的使用(hive操作es示例)

配置hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect ......

守望者之父 ⋅ 06/15 ⋅ 0

Elasticsearch内核解析 - 写入流程

目前的Elasticsearch有两个明显的身份,一个是分布式搜索系统,另一个是分布式NoSQL数据库,对于这两种不同的身份,读写语义基本类似,但也有一点差异。 写操作 实时性: 搜索系统的Index一般...

少强 ⋅ 04/16 ⋅ 0

Centos6搭建elk系统,监控IIS日志

**所需程序: 服务器端:java、elasticsearch、kikbana 客 户 端:IIS、logstash** 一、服务器端(192.168.10.46)操作: 先建立一个ELK专门的目录: [root@Cent65 ~]mkdir /elk/ 上传到elk...

D杀手D ⋅ 04/24 ⋅ 0

logstash、elasticsearch、kibana搭建日志平台

1、下载logstash a、官方下载地址:https://www.elastic.co/downloads/logstash b、解压:tar -xzvf logstash-5.1.1.tar.gz c、设置用户测试的配置文件:vim logstatsh_test.conf,编辑内容如...

binhu ⋅ 05/23 ⋅ 0

spring-data-elasticsearch 基本案例详解(三)

『 风云说:能分享自己职位的知识的领导是个好领导。 』 运行环境:JDK 7 或 8,Maven 3.0+ 技术栈:SpringBoot 1.5+, Spring Data Elasticsearch 1.5+ ,ElasticSearch 2.3.2 本文提纲 一、...

夜黑人模糊灬 ⋅ 05/13 ⋅ 0

Logstash迁移Elasticsearch数据方法解读

Elasticsearch中数据搬迁是工程师们经常会做的,有时是为了集群迁移、有时是为了数据备份、有时是为了升级等等,迁移的方式也有很多种,比如说通过elasticsearch-dump、通过snapshot、甚至是...

pcdog ⋅ 05/21 ⋅ 0

ELK实时日志分析平台部署搭建详细实现过程

原文地址:http://www.linuxidc.com/Linux/2016-09/135137.htm 1、ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 日志主要包括系统日志、应用程序日志和安全日志。...

tanga842428 ⋅ 2017/07/27 ⋅ 0

elasticsearch-head 安装介绍

elasticsearch-head 是用于监控 Elasticsearch 状态的客户端插件,包括数据可视化、执行增删改查操作等。elasticsearch-head 插件的安装在 Linux 和 Windows 没什么区别,安装之前确保当前系...

BeckJin ⋅ 05/19 ⋅ 0

当ES赶超Redis,这份ES进修攻略不容错过!

从4月DB-Engines最新发布的全球数据库排名中,我们赫然发现ElasticSearch逆袭超越了Redis,从原先的第9名上升至第8名,而Redis则落后一名,排在了其后。 事实上,这场逆袭并不算太让人意外。...

DBAplus社群 ⋅ 04/15 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 42分钟前 ⋅ 0

到底会改名吗?微软GVFS 改名之争

微软去年透露了 Git Virtual File System(GVFS)项目,GVFS 是 Git 版本控制系统的一个开源插件,允许 Git 处理 TB 规模的代码库,比如 270 GB 的 Windows 代码库。该项目公布之初就引发了争...

linux-tao ⋅ 52分钟前 ⋅ 0

笔试题之Java基础部分【简】【二】

1.静态变量和实例变量的区别 在语法定义上的区别:静态变量前要加static关键字,而实例变量前则不加。在程序运行时的区别:实例变量属于某个对象的属性,必须创建了实例对象,其中的实例变...

anlve ⋅ 今天 ⋅ 0

Lombok简单介绍及使用

官网 通过简单注解来精简代码达到消除冗长代码的目的 优点 提高编程效率 使代码更简洁 消除冗长代码 避免修改字段名字时忘记修改方法名 4.idea中安装lombnok pom.xml引入 <dependency> <grou...

to_ln ⋅ 今天 ⋅ 0

【转】JS浮点数运算Bug的解决办法

37.5*5.5=206.08 (JS算出来是这样的一个结果,我四舍五入取两位小数) 我先怀疑是四舍五入的问题,就直接用JS算了一个结果为:206.08499999999998 怎么会这样,两个只有一位小数的数字相乘,怎...

NickSoki ⋅ 今天 ⋅ 0

table eg

user_id user_name full_name 1 zhangsan 张三 2 lisi 李四 `` ™ [========] 2018-06-18 09:42:06 星期一½ gdsgagagagdsgasgagadsgdasgagsa...

qwfys ⋅ 今天 ⋅ 0

一个有趣的Java问题

先来看看源码: public class TestDemo { public static void main(String[] args) { Integer a = 10; Integer b = 20; swap(a, b); System.out......

linxyz ⋅ 今天 ⋅ 0

十五周二次课

十五周二次课 17.1mysql主从介绍 17.2准备工作 17.3配置主 17.4配置从 17.5测试主从同步 17.1mysql主从介绍 MySQL主从介绍 MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主...

河图再现 ⋅ 今天 ⋅ 0

docker安装snmp rrdtool环境

以Ubuntu16:04作为基础版本 docker pull ubuntu:16.04 启动一个容器 docker run -d -i -t --name flow_mete ubuntu:16.04 bash 进入容器 docker exec -it flow_mete bash cd ~ 安装基本软件 ......

messud4312 ⋅ 今天 ⋅ 0

OSChina 周一乱弹 —— 快别开心了,你还没有女友呢。

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子 :分享吴彤的单曲《好春光》 《好春光》- 吴彤 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :小萝莉街上乱跑,误把我认错成...

小小编辑 ⋅ 今天 ⋅ 9

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部