加载中
spark-streaming连接消费nsq

spark-streaming连接消费nsq 目的 使用 NSQ作为消息流 使用 spark-streaming 进行消费 对数据进行清洗后,保存到hive仓库中 连接方案 1、编写Spark Streaming Custom Receivers(spark-strea...

01/18 10:39
41
Hadoop-ha 集群搭建

概念了解 主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。 主从结构分类: 1、一主多从 2、多主多从 Hadoop中的H...

ZooKeeper 的集群

安装须知 鉴于 ZooKeeper 本身的特点,服务器集群的节点数推荐设置为奇数台。我这里我规划为三台, 为别为 office-prod-bigdata-00,office-prod-bigdata-01,office-prod-bigdata-02 ZooKee...

01/14 12:43
24
App 请求校验/加密方式总结

最近对几款App(橙光, 闪艺),微信小程序(链家,汽车之家,)进行破解,学习了请求的 加签、验签/加密、解密方式,特做总结。 常见的http请求校验方式: 加签、验签:将请求参数通过哈希算法生...

解决 Scrapy-Redis 空跑问题,链接跑完后自动关闭爬虫

scrapy-redis框架中,reids存储的xxx:requests已经爬取完毕,但程序仍然一直运行,如何自动停止程序,结束空跑。相信大家都很头疼,尤其是网上一堆搬来搬去的帖子,来看一下 我是如何解决这个...

动态调试\分析链家APK - 获取请求校验方式

对链家APK进行抓包,发现链家APK请求头中附带了请求校验信息Authorization,这里需要知道请求校验生成方式,从而模拟请求,获取链家房源信息数据

解析链家小程序 - 获取请求校验方式

解析链家小程序 - 获取请求校验方式 数据需求,对链家小程序进行请求抓包,发现每次合法请求都存在 Authorization 授权码,想要成功模拟小程序发送请求,就必须破解得到Authorization 授权码...

Bootstrap 附加导航(Affix)插件 问题与解决方式

滚动页面时尺寸会改变 解决方式 、 Link点击后的位置偏移 解决方式

2015/07/12 11:04
391
spark 常见操作

为spark DataFrom 添加一个为 空的新列,使用UDF函数 想产生一个IntegerType类型列为null的DataFrame该怎么做。 import org.apache.spark.sql.functions._ import org.apache.spark.sql.type...

hive on spark 趟坑指南

1、执行SQL 查询时候,报Failed to submit Spark work 错误。 Failed to execute spark task, with exception 'java.lang.Exception(Failed to submit Spark work, please retry later)' FA...

05/31 23:14
20
hbase list报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

hbase 常见问题 Master is initializing 1、解决方案: 时间跟系统不一致 ntpdate 0.cn.pool.ntp.org //命令更新时间 是否启动regionserver 先启动regionserver,然后在启动Hmaster ./hbase...

python Redis 手册 翻译

Redis 手册 redis 2.10.6 Downloads ↓ Python client for Redis key-value store The Python interface to the Redis key-value store. Installation redis-py requires a running Redis se...

openCV2学习笔记---1.环境配置

openCV2学习笔记—1.环境配置 openCV 是开源的计算机视觉代码库,可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、R...

2017/06/24 23:12
24
0000 0000 、Hadoop 环境搭建

一、安装JDK 在linux命令行中,先敲入 命令 来查看系统上是否有安装 jak javac 如果 没有 ,我们就要安装JDK ubuntu下 apt-get install openjdk-7-jdk centOS下 yum install *jdk-7* 安装完成...

2017/06/24 23:12
10
0000 0001 、HDFS 和 MapReduce

HDFS 和 MapReduce HDFS 负责存储 MapReduce 负责任务的分解与结果的汇总 HDFS 部分 HDFS 中的角色: 名称结点:【NameNode】HDFS 中的管理者,负责文件系统的命名空间,集群配置信息,存储块...

2017/06/24 23:12
2
PHP 在父类中调用子类的 静态属性 或 静态方法

我们知道 在父类中只能调用 父类的 属性 或 方法, 那假如我们需要在父类中调用子类的 静态方法或静态属性,怎么办呢!

2015/02/28 23:55
119
Android UI 组件 TextView 及其子类

TextView 派生自 View 作用 TextView控件可用来展示文本信息(包括HTML文本) TextView继承关系图 TextView结构 ava.lang.Object android.view.View android.widget.TextView 直接子类: Bu...

2015/02/16 23:00
66
Android UI 组件 布局管理器

这是对Android 的UI布局管理器的 一个总结,或者说 是一个查询手册,只包含 相关属性,以及部分名称解释。

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部