作者归档:Quan

Java 生产者消费者问题



Java 生产者消费者问题

在JAVA中,一共有四种方法支持同步,其中三个是同步方法,一个是管道方法。
1. 方法wait()/notify()
2. 方法await()/signal()
3. 阻塞队列方法BlockingQueue
4. 管道方法PipedInputStream/P[......]

Read more

Hadoop MapReduce 减小数据倾斜的性能损失



Hadoop MapReduce 减小数据倾斜的性能损失

常见的数据倾斜有以下几类:
数据频率倾斜——某一个区域的数据量要远远大于其他区域。
数据大小倾斜——部分记录的大小远远大于平均值。
在map端和reduce端都有可能发生数据倾斜。在map端的数据倾斜会让多样化的数据集的处理效率更[......]

Read more

数据挖掘十大经典算法(7) AdaBoost

数据挖掘十大经典算法(7) AdaBoost

Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次[......]

Read more

数据挖掘十大经典算法(9) 朴素贝叶斯分类器 Naive Bayes

数据挖掘十大经典算法(9) 朴素贝叶斯分类器 Naive Bayes

贝叶斯分类器
贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种,分别是:Naive B[......]

Read more

数据挖掘十大经典算法(10) CART: 分类与回归树

数据挖掘十大经典算法(10) CART: 分类与回归树

如果一个人必须去选择在很大范围的情形下性能都好的、同时不需要应用开发者付出很多的努力并且易于被终端用户理解的分类技术的话,那么Brieman, Friedman, Olshen和Stone(1984)提出的分类树方法是一个强有力的竞争者。[......]

Read more

如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码

如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码我们如果想搞开发,研究源码对我们的帮助很大。不明白原理就如同黑盒子,遇到问题,我们也摸不着思路。所以这里交给大家
一.如何获取源码
二.如何关联源码

一.如何获取源码

1.下载hadoop的maven程序包[......]

Read more