月度归档:2014 年七月

Hadoop YARN最近几个新特性



本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性,包括:
(1)ResourceManager HA
在apache hadoop 2.4或者CDH5.0.0版本之后,增加了ResourceManger HA特性,支持基于Zookeeper的热主备切换,具体配置参数可以参考Clo[......]

Read more

Apache Twill—YARN上应用程序开发包图文教程



Apache Twill—YARN上应用程序开发包图文教程。尽管YARN自带的编程API已经得到了极大的简化,但从头开发一个YARN应用程序仍是一件非常困难的事情。在YARN上编写一个应用程序,你需要开发Client和ApplicationMaster两个模块,并了解涉及到的几个协议的若干API和参[......]

Read more

如何从10亿大量数据中查询词找出出现频率最高的10个

如何从10亿大量数据中查询词找出出现频率最高的10个。

1. 问题描述

在大规模数据处理中,常遇到的一类问题是,在海量数据中找出出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,这类问题通常称为“top K”问题,如:在搜索引擎中,统计搜索最热门的10个查询词;在歌曲库中统计下[......]

Read more

c++位图排序图文介绍

c++位图排序图文介绍。

一.位图排序的应用:

1.给40亿个不重复的unsigned int的整数,没有排过序,然后再给一个数,如果快速判断这个数是否在那40亿个数当中。

因为unsigned int数据的最大范围在在40亿左右,40*10^8/1024*1024*8=476,因[......]

Read more

c++判断有向图是否有环 、环的个数以及环中元素

c++判断有向图是否有环 、环的个数以及环中元素。判断有向图是否有环有三种方法:拓扑排序、深度遍历+回溯、深度遍历 + 判断后退边

这里使用 拓扑排序 和 深度遍历 + 回溯判断是不是环。使用 深度遍历 + 判断后退边找出环个数 以及环中元素

1、拓扑排序

思想:找入度为0的顶点,[......]

Read more

c++有向图中顶点的路径问题

c++有向图中顶点的路径问题。

主要解决三个问题:

前提:有向图+邻接矩阵存储

问题1、判断有向图中是否存在顶点u到v的路径

问题2、求u到v的所有简单路径

问题3、求u到v长度为k的简单路径

具体如下:

问题1:判断有向图中是否存在顶点u到v的路径[......]

Read more