Apache Spark探秘：三种分布式部署方式比较.目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的[......]
分类目录归档：服务器搭建
Apache Spark多进程模型还是多线程模型？
Apache Spark探秘：多进程模型还是多线程模型？Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模[......]
Apache Spark探秘：如何利用Intellij IDEA构建开发环境
Apache Spark探秘：如何利用Intellij IDEA构建开发环境。前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章。经过一段时间的试用，发现Eclipse在Scala支持方面很不完善，体验非常差，因此转而使用Intellij IDEA，本文介绍如何使用Intell[......]
Hadoop YARN最近几个新特性
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：
（1）ResourceManager HA
在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clo[......]
Apache Twill—YARN上应用程序开发包图文教程
Apache Twill—YARN上应用程序开发包图文教程。尽管YARN自带的编程API已经得到了极大的简化，但从头开发一个YARN应用程序仍是一件非常困难的事情。在YARN上编写一个应用程序，你需要开发Client和ApplicationMaster两个模块，并了解涉及到的几个协议的若干API和参[......]
如何构建一台大容量的NAT服务器教程
如何构建一台大容量的NAT服务器教程。1．前言本文档主要描述如何利用Linux构建一台能力比较强的NAT服务器，并发连接数大约16万，流量200M-300M，如果你需要一个流量更高的NAT设备，请考虑购买专业厂商的设备。
2．许可协议
本文的许可协议遵循GNU Free Document L[......]
linux下如何配置启动多个tomcat
linux下如何配置启动多个tomcat实例教程介绍。
<!–[if !supportLists]–>1. 环境：<!–[endif]–>
<!–[if !supportLists]–>1.1. Red Hat[......]
Tomcat增大内存仍是报OutOfMemoryError: PermGen space
Tomcat增大内存仍是报OutOfMemoryError: PermGen space。2014-06-27 10:25:20,252 INFO - Starting: DwrServlet v3.0.0-RC2-final-312 on Apache Tomcat/6.0.39 / JDK [......]
Webx 核心机制图文介绍
Webx 核心机制图文介绍。
在本文中的Webx都是指webx3.0.11。
Webx的主题功能都是暴露成服务组件，主要的服务组件如下：
服务组件
1、RequestContext
2、Pipeline
3、资源载入:Classpath路径载入，本地路径路径载入，[......]
nginx全局变量实例介绍
nginx全局变量实例介绍。经常需要配置Nginx ，其中有许多以 $ 开头的变量，经常需要查阅nginx 所支持的变量。
可能是对 Ngixn资源不熟悉，干脆就直接读源码，分析出支持的变量。
Nginx支持的http变量实现在 ngx_http_variables.c 的 ngx_http[......]