文档章节

使用happybase操作HBase

KYO4321
 KYO4321
发布于 2017/06/29 09:18
字数 241
阅读 107
收藏 0
from collections import OrderedDict
import happybase
connection = happybase.Connection('localhost', autoconnect=False)
connection.open()

table = connection.table('live_gift')
data = table.scan(filter="SingleColumnValueFilter('g', 'live_id', =, 'binary:15909')" and "SingleColumnValueFilter('g', 'gift_price', =, 'binary:20')", limit=20)
for k, d in data:
    print(k, d)
    

data = table.scan(columns=[b'g:user_id', b'g:gift_price'], filter="SingleColumnValueFilter('g', 'live_id', =, 'binary:15909')" and "SingleColumnValueFilter('g', 'gift_price', =, 'binary:20')", limit=20)

###求和
sum = 0
for k, d in data:
    gift_price = d['g:gift_price']
    sum = sum + int(gift_price)
    

        
        
new_data = table.counter_set(b'8029302121941_50001_534UYISNEHC_23171-key', b'g:live_id')
rows_as_dict = dict(table.rows([b'row-key-1', b'row-key-2']))
rows_as_ordered_dict = OrderedDict(data)


##计数
data = table.scan(columns=[b's:live_id', b's:start_time'], filter="SingleColumnValueFilter('s', 'start_time', >=, 'binary:1490976000')") 
count = 0
for k, d in data:
    live_id = d['s:live_id']
    count += 1
print(count)  ##live_num, 1249

    
##计数Method two
mylist =[]
data = table.scan(columns=[b's:live_id', b's:start_time'], filter="SingleColumnValueFilter('s', 'start_time', >=, 'binary:1490976000')")  
for k, d in data:
    live_id = d['s:live_id']
    mylist.append(live_id)
    
live_num = len(mylist)


import time
dt = "2016-04-01 00:00:00"
timeArray = time.strptime(dt, "%Y-%m-%d %H:%M:%S")
timestamp = int(time.mktime(timeArray))
timestamp


import time

##日期转为时间戳
def Timestamp_conversion(date):
    timeArray = time.strptime(date, "%Y-%m-%d %H:%M:%S")
    timestamp = int(time.mktime(timeArray))
    return timestamp
    
##时间戳转为日期
def date_conversion(timestamp):
    time_local = time.localtime(timestamp)
    date = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
    return date

© 著作权归作者所有

共有 人打赏支持
KYO4321
粉丝 3
博文 82
码字总数 46932
作品 0
深圳
程序员
手把手教你通过Thrift 访问ApsaraDB for HBase

Thrift 多语言接入 Thrift 提供多语言访问HBase的能力,支持的语言包从Thrift官网看括: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk,......

玄陵
08/03
0
0
使用happybase访问HBase出现Broken pipe问题---两个“惊天”大bug

来源 使用happybase通过thrift接口向HBase读取、写入数据时,出现Broken pipe的错误。排查步骤: 1、查看hbase的日志: 初步推断是hbase设置了某个超时时间,导致连接断开 2、查看官方文档,...

低调诺
04/24
0
0
hive 与 hbase 结合

一、hive与hbase的结合 Hive会经常和Hbase结合使用,把Hbase作为Hive的存储路径,所以Hive整合Hbase尤其重要。使用Hive读取Hbase中的数据,可以使用HQL语句在HBase表上进行查询、插入操作;甚...

meteor_hy
06/26
0
0
win环境下 hbase 数据库搭建流程

Hbase单机版安装使用教程 Hbase介绍请参考技术支持文档,这里只说明Hbase 的安装和使用 第一步:下载安装Hbase数据库 链接:链接:https://pan.baidu.com/s/1si6Nokvz8xkUsmefsRlntQ 密码:k...

lijiaweizuishuai
05/28
0
0
hbase 数据库简介安装与常用命令的使用

一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 1.2 hbase 简介: 1.3 HBase与Hadoop的对比 1.4 HB...

flyfish225
04/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

74.expect脚本同步文件以及指定host同步文件 构建分发系统文件和命令

20.31 expect脚本同步文件: 在expect脚本中去实现在一台机器上把文件同步到另外一台机器上去。核心命令用的是rsync ~1.自动同步文件 #!/usr/bin/expect set passwd "123456" spawn rsync -a...

王鑫linux
34分钟前
0
0
TypeScript项目引用(project references)

转发 TypeScript项目引用(project references) TypeScript新特性之项目引用(project references) 项目引用是TypeScript 3.0中的一项新功能,允许您将TypeScript程序构建为更小的部分。 通过这...

durban
39分钟前
0
0
爬虫入门

导读 网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取...

问题终结者
39分钟前
0
0
ppwjs之bootstrap文字排版:无序列表项不换行

<!DOCTYPT html><html><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>ppwjs欢迎您</title><link rel="icon" href="/favicon.ico" ......

ppwjs
45分钟前
0
0
SpringBoot 学习一

本文将从以下几个方面介绍: 前言 HelloWorld 读取配置文件 例子(CURD) 前言 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架...

tsmyk0715
46分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部