Hadoop MapReduce 减小数据倾斜的性能损失
常见的数据倾斜有以下几类：
数据频率倾斜——某一个区域的数据量要远远大于其他区域。
数据大小倾斜——部分记录的大小远远大于平均值。
在map端和reduce端都有可能发生数据倾斜。在map端的数据倾斜会让多样化的数据集的处理效率更[......]
分类目录归档：Java程序开发
数据挖掘十大经典算法(7) AdaBoost
数据挖掘十大经典算法(7) AdaBoost
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次[......]
数据挖掘十大经典算法(8) kNN: k-nearest neighbor classification
数据挖掘十大经典算法(8) kNN: k-nearest neighbor classification
邻近算法
k-Nearest Neighbor algorithm
右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三[......]
数据挖掘十大经典算法(9) 朴素贝叶斯分类器 Naive Bayes
数据挖掘十大经典算法(9) 朴素贝叶斯分类器 Naive Bayes
贝叶斯分类器
贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive B[......]
数据挖掘十大经典算法(10) CART: 分类与回归树
数据挖掘十大经典算法(10) CART: 分类与回归树
如果一个人必须去选择在很大范围的情形下性能都好的、同时不需要应用开发者付出很多的努力并且易于被终端用户理解的分类技术的话，那么Brieman, Friedman, Olshen和Stone（1984）提出的分类树方法是一个强有力的竞争者。[......]
win7如何安装maven、安装protoc
win7如何安装maven、安装protoc一、安装mvaven包
1.首先我们下载maven包
apache-maven-3.2.1.zip
链接：http://pan.baidu.com/s/1jG9QhWa 密码：vmee
2.配置maven
（1）解压到[......]
Hadoop2.4.0 Eclipse插件制作及问题记录
Hadoop2.4.0 Eclipse插件制作及问题记录
参考hadoop2x-eclipse-plugin
说说我的整个制作过程吧：
想导入到eclipse中制作，但是导入进去之后觉得麻烦就算了，直接在win7 64位、JDK1.6、ANT1.8的环境下以命令行运行
依葫芦画瓢，设置e[......]
如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码
如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码我们如果想搞开发，研究源码对我们的帮助很大。不明白原理就如同黑盒子，遇到问题，我们也摸不着思路。所以这里交给大家
一.如何获取源码
二.如何关联源码
一.如何获取源码
1.下载hadoop的maven程序包[......]
eclipse Java heap space 解决方案
当运行程序出现Java heap space 原因就是jvm内存不足
eclipse 有启动参数里设置jvm大小，因为eclipse运行时自己也需要jvm,所以eclipse.ini里设置的jvm大小不是具体某个程序运行时所用jv[......]
Java中的System类
Java中的System类System类代表系统，系统级的很多属性和控制方法都放置在该类的内部。该类位于java.lang包。
由于该类的构造方法是private的，所以无法创建该类的对象，也就是无法实例化该类。其内部的成员变量和成员方法都是static的，所以也可以很方便的进行调用。