文档章节

使用happybase操作HBase

KYO4321
 KYO4321
发布于 2017/06/29 09:18
字数 241
阅读 138
收藏 0
from collections import OrderedDict
import happybase
connection = happybase.Connection('localhost', autoconnect=False)
connection.open()

table = connection.table('live_gift')
data = table.scan(filter="SingleColumnValueFilter('g', 'live_id', =, 'binary:15909')" and "SingleColumnValueFilter('g', 'gift_price', =, 'binary:20')", limit=20)
for k, d in data:
    print(k, d)
    

data = table.scan(columns=[b'g:user_id', b'g:gift_price'], filter="SingleColumnValueFilter('g', 'live_id', =, 'binary:15909')" and "SingleColumnValueFilter('g', 'gift_price', =, 'binary:20')", limit=20)

###求和
sum = 0
for k, d in data:
    gift_price = d['g:gift_price']
    sum = sum + int(gift_price)
    

        
        
new_data = table.counter_set(b'8029302121941_50001_534UYISNEHC_23171-key', b'g:live_id')
rows_as_dict = dict(table.rows([b'row-key-1', b'row-key-2']))
rows_as_ordered_dict = OrderedDict(data)


##计数
data = table.scan(columns=[b's:live_id', b's:start_time'], filter="SingleColumnValueFilter('s', 'start_time', >=, 'binary:1490976000')") 
count = 0
for k, d in data:
    live_id = d['s:live_id']
    count += 1
print(count)  ##live_num, 1249

    
##计数Method two
mylist =[]
data = table.scan(columns=[b's:live_id', b's:start_time'], filter="SingleColumnValueFilter('s', 'start_time', >=, 'binary:1490976000')")  
for k, d in data:
    live_id = d['s:live_id']
    mylist.append(live_id)
    
live_num = len(mylist)


import time
dt = "2016-04-01 00:00:00"
timeArray = time.strptime(dt, "%Y-%m-%d %H:%M:%S")
timestamp = int(time.mktime(timeArray))
timestamp


import time

##日期转为时间戳
def Timestamp_conversion(date):
    timeArray = time.strptime(date, "%Y-%m-%d %H:%M:%S")
    timestamp = int(time.mktime(timeArray))
    return timestamp
    
##时间戳转为日期
def date_conversion(timestamp):
    time_local = time.localtime(timestamp)
    date = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
    return date

© 著作权归作者所有

共有 人打赏支持
KYO4321
粉丝 3
博文 92
码字总数 48951
作品 0
深圳
程序员
私信 提问
手把手教你通过Thrift 访问ApsaraDB for HBase

Thrift 多语言接入 Thrift 提供多语言访问HBase的能力,支持的语言包从Thrift官网看括: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk,......

玄陵
08/03
0
0
使用happybase访问HBase出现Broken pipe问题---两个“惊天”大bug

来源 使用happybase通过thrift接口向HBase读取、写入数据时,出现Broken pipe的错误。排查步骤: 1、查看hbase的日志: 初步推断是hbase设置了某个超时时间,导致连接断开 2、查看官方文档,...

低调诺
04/24
0
0
hbase 数据库简介安装与常用命令的使用

一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 1.2 hbase 简介: 1.3 HBase与Hadoop的对比 1.4 HB...

flyfish225
04/12
0
0
搭建HBase的本地模式、伪分布式、全分布式和HA模式

一、安装HBase: 我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase: tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training 配置HBase的环境变量: export HBASE_HOME=/root/training/hbase-1.......

李金泽
07/05
0
0
hive 与 hbase 结合

一、hive与hbase的结合 Hive会经常和Hbase结合使用,把Hbase作为Hive的存储路径,所以Hive整合Hbase尤其重要。使用Hive读取Hbase中的数据,可以使用HQL语句在HBase表上进行查询、插入操作;甚...

meteor_hy
06/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

基于对象特征的推荐

(本实验选用数据为真实电商脱敏数据,仅用于学习,请勿商用) 在上一期基于协同过滤的的推荐场景中,我们介绍了如何通过PAI快速搭建一个基于协同过滤方案的推荐系统,这一节会介绍一些如何基...

阿里云官方博客
17分钟前
1
0
Ugly Number(leetcode263)

Write a program to check whether a given number is an ugly number. Ugly numbers are positive numbers whose prime factors only include 2, 3, 5. Example 1: Input: 6Output: true......

woshixin
41分钟前
2
0
深度模型从研者 眼里的 似然估计 & Hessain 海森矩阵 & Fisher Information (费雪信息)

深度模型的训练的基本依据是最小化模型拟合数据的误差。旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训练,可以做哪些优化)。我们就会发现,有很多研究者,在...

刘小米_思聪
45分钟前
0
0
【双十二】12 月 12 日 12 点 12 分限量抢福利,云计算不剁手!

活动详情 1.首充豪礼 双十二当日,新用户首充 200 元送 200 元代金券!仅限前 88 名!先到先得!拼手速!(新用户指 12 月 12 日前已完成注册但从未充值过的用户)
 2.超值返券 双十二当日,...

七牛云
今天
4
0
Calculate Linux 发布 18 LXQt是基于Gentoo的发行版

导读 Calculate Linux 是一个基于 Gentoo 并与 Gentoo 完全兼容的滚动更新发行版家族,专为企业环境下的快速部署而优化。其提供多个不同的分支版本,分别适用于桌面、服务器等应用场景。该项...

问题终结者
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部