1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
推荐系统-协同过滤
推荐系统概述： 通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。 推荐系统在用户(USER)和物品(ITEM)之间建立一座桥梁， 帮助用户找到...
原
元数据治理 Apache Atlas
Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能...
原
Hive和HBase有哪些区别与联系及适用场景
hive Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂...
原
spark mllib 预测之LinearRegression(线性回归)
spark mllib LinearRegression(线性回归), 商品价格与消费者输入之间的关系
原
算法回顾
第一章：算法简介 二分查找： log10100相当于问“将多少个10相乘 的结果为100，答案是两个：10 × 10 = 100。因此，log10100 = 2。 算法效率： 总结： 二分查找的速度比简单查找快得多。 O(...
原
Spark 数据倾斜
什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话，就会产生数据倾斜，导致两个后果： OM（单或少数的节点）； 拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点...
原
hive 实战总结
hive 体系架构 启动 hive 命令行 进入hive安装目录，输入bin/hive的执行程序，或者输入 hive –service cli hive脚本的执行方式大致有三种 hive可以直接敲hive命令进入interactive模式，直接...
原
大数据生命周期管理框架Apache Falcon简介
Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化had...
原
php socket 基础测试
什么是TCP/IP、UDP？ TCP/IP（Transmission Control Protocol/Internet Protocol）即传输控制协议/网间协议，是一个工业标准的协议集，它是为广域网（WANs）设计的。 UDP（User Data Protoco...
先验分布 后验分布 似然估计
一、先验分布 对未知参数x的先验信息用一个分布形式p(x)来表示，此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原因的经验推断。 对于一个未知参数...
原
大数据调度工具oozie详细介绍
背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择...
分布式系统基本原理
三元组 其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种： 节点 -- 系统...
原
Spark SQL
Hive On Spark和SparkSQL都是一个翻译层 把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。 两种方式使用SparkSQL，Spark SQL is a Spark module for structured data pro...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复