使用pandas处理HBase数据
博客专区 > KYO4321 的博客 > 博客详情
使用pandas处理HBase数据
KYO4321 发表于10个月前
使用pandas处理HBase数据
  • 发表于 10个月前
  • 阅读 7
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

import happybase
from pandas import DataFrame
def hbase_connect(table_name):
    connection = happybase.Connection('localhost', autoconnect=False)
    connection.open()
    table = connection.table(table_name)
    return table
    
table = hbase_connect('live_gift')
data = table.scan(columns=[b'g:user_id', b'g:gift_price'],  limit=10)

my_generator = ((d['g:user_id'], d['g:gift_price']) for k, d in data)
mylist = list(my_generator)
mydata = DataFrame(mylist)

column_name = ['user_id', 'gift_price']
mydata.columns = column_name
mydata['gift_price'] = mydata['gift_price'].apply(int)
mydata['gift_price'].sum()

####################################
import time
def Timestamp_conversion(date):
    timeArray = time.strptime(date, "%Y-%m-%d %H:%M:%S")
    timestamp = int(time.mktime(timeArray))
    return timestamp
    

def date_conversion(timestamp):
    time_local = time.localtime(timestamp)
    date = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
    return date
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 3
博文 32
码字总数 16565
×
KYO4321
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: