<p>计数排序、CSR和CSC等概念见上一篇博客“Graphlab实现分析：图的存储一”，此篇博客是接着上一篇博客，介绍一下graphlab中图的动态存储。</p> <h3>1 存储结构</h3> <p>Graphlab实现对图的...

<p>前一段时间参与了一个迭代计算平台的开发，对于内存计算和图计算产生了比较浓厚的兴趣，这期间也阅读了spark和pregel的相关论文，了解一下BSP模型，但总觉得看论文太抽象了，于是选择阅读...

<p>在这里主要分析一下HFile V2的各个组成部分的一些细节，重点分析了HFile V2的多级索引的机制，接下去有时间的话会分析源码中对HFile的读写扫描操作。</p> <h2>HFile和流程：</h2> <p>如下...

<p>在这里详细地介绍一下除了mesos资源分配器之外的元数据组织和加载、删除任务的流程，资源分配器在另外一篇博客里有详细分析。</p> <h3>1 集群元数据管理</h3> <p><a href="http://static...

<p>一年多前学习zookeeper时做的笔记，主要是翻译自“ZooKeeper's atomic broadcast protocol:Theory and practice”，并添加了自己的一些理解，整理一下作为一篇博客贴出来，后续有时间会分...

<h4>最近准备面试，把一年多前阅读zookeeper代码时写的阅读笔记翻出来，顺便整理一下发成博客。</h4> <p></p> <h4>---------------------------------------------------------------------...

<h3>1 mesos DRF介绍</h3> <p>mesos调度器是根据DRF（dominant resource fairness）算法实现的。DRF算法背后的直观想法是在多资源类型的环境下，一个用户的资源分配应该由用户的dominant sh...

<p>dominant resource fairness算法是Mesos的灵魂，不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler，学习阅读了一下论文“Dominant Resource Fairness: Fair Allocati...

<p>初次接触linux container，细读了mesos的linux container功能封装的代码。写得啰嗦了一点。</p> <h4>1 Cgroup介绍和规则</h4> <p>控制群组Cgroup允许你在用户自定义的任务（进程）群组中分...

最近在啃mesos源码，mesos用cgroup做资源隔离，由于之前没有接触linux container，所以写了一些小代码做了一些小试验来学习一下cgroup。 /proc/mounts文件是以/etc/mtab文件的格式给出当前系...

作者：zy 转载请注明出处 由于近期在做一些图片离线计算的工作，需要对几亿的图片数据进行处理（特征值处理和计算），需要考虑图片数据的全量和增量计算，受ｙａｒｎ的框架的思想的启发，想要...

哈哈，在oschina上的第一篇博客，测试一下，好不好用。