linux搭建gfs系统–iscsi+GFS实现网络存储介绍



linux搭建gfs系统–iscsi+GFS实现网络存储介绍。

虚拟机搭建gfs系统
系统环境:CentOS release 5.5 – 2.6.18-194.el5
gfs节点1:192.168.1.231 gfs1
gfs节点2:192.168.1.232 gfs2
gfs节点3:192.168.1.233 gfs3
iscsi-target存储设备:192.168.1.240 iscsi-storage (IP对应主机名)
GFS 简要说明,它有两种:
1. Google文件系统:GFS是GOOGLE实现的是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数[......]

Read more

JAVA字符串处理函数常用的实用的方法介绍



JAVA字符串处理函数常用的实用的方法介绍。Java中的字符串也是一连串的字符。但是与许多其他的计算机语言将字符串作为字符数组处理不同,Java将字符串作为String类型对象来处 理。将字符串作为内置的对象处理允许Java提供十分丰富的功能特性以方便处理字符串。下面是一些使用频率比较高的函数及其相关说明。
substring()
它有两种形式,第一种是:String substring(int startIndex)
第二种是:String substring(int startIndex,int endIndex)

concat() 连接两个字符串

replace() 替[......]

Read more

java中数据类型转换实例代码介绍

java中数据类型转换实例代码介绍。

1如何将字串 String 转换成整数 int?

A. 有两个方法:

1). int i = Integer.parseInt([String]); 或
i = Integer.parseInt([String],[int radix]);

2). int i = Integer.valueOf(my_str).intValue();

注: 字串转成 Double, Float, Long 的方法大同小异.

2 如何将整数 int 转换成字串 String ?

A. 有叁种方法:

1.) String s[......]

Read more

Hadoop集群(第9期)_MapReduce初级案例(3)

Hadoop集群(第9期)_MapReduce初级案例(3)

5、多表关联

多表关联和单表关联类似,它也是通过对原始数据进行一定的处理,从其中挖掘出关心的信息。下面进入这个实例。

5.1 实例描述

输入是两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号列。要求从输入数据中找出工厂名地址名对应关系,输出”工厂名——地址名“表。

样例输入如下所示。

1)factory:

 

factoryname                    addressed

Beijing Red Star          [......]

Read more

Hadoop集群(第9期)_MapReduce初级案例(2)

Hadoop集群(第9期)_MapReduce初级案例(2)。

3、平均成绩

“平均成绩”主要目的还是在重温经典“WordCount”例子,可以说是在基础上的微变化版,该实例主要就是实现一个计算学生平均成绩的例子。

3.1 实例描述

对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名第二个代表其平均成绩

样本输入

1)math:

 

张三    88

李四    99

王五    66

赵六  [......]

Read more

Hadoop集群(第9期)_MapReduce初级案例(1)

Hadoop集群(第9期)_MapReduce初级案例(1)。

1、数据去重

“数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。

1.1 实例描述
对数据文件中的数据进行去重。数据文件中的每行都是一个数据。

样例输入如下所示:

1)file1:

 

2012-3-1 a

2012-3-2 b

2012-3-3 c

2012-3-4 d

2012-3-5 a

20[......]

Read more

解决Nginx 504 Gateway Time-out的方法

解决Nginx 504 Gateway Time-out的方法。

在CentOS下配置lnmp组合基本上用的都是同样的配置文件,一直都没出现过问题,可最近在一个vps上安装同样的环境之后,网站在线10多人就出 现了打开速度非常缓慢的情况,有好几次都是直接达到了nginx中设置的脚本最大超时时间300秒,结果导致nginx往客户端浏览器发送了一个504 Gateway Time-out的错误代码,分析了之后改动了几处配置文件,终于避免了该情况的出现。
从错误代码基本可以确定跟nginx本身无关,主要是提交给php-fpm的请求未能正确反馈而导致,一般情况下,提交动态请求的时候,nginx[......]

Read more

负载均衡技术浅谈之DNS负载均衡优缺点

负载均衡技术浅谈之DNS负载均衡优缺点 。

负载均衡技术能够平衡服务器集群中所有的服务器和请求应用之间的通信负载,根据实时响应时间进行判断,将任务交由负载最轻的服务器来处理,以实现真正的智能通信管理和最佳的服务器群性能,从而使网站始终保持运行和保证其可访问性。

为了充分利用利用现有服务器软件的种种优势,负载均衡最好是在服务器软件之外来完成。而最早使用的负载均衡技术是通过DNS服务中的随机名字解析来实现的。这就是通常所说的DNS负载均衡技术。

DNS负载均衡技术的实现原理是在DNS服务器中为同一个主机名配置多个IP地址,在应答DNS查询时,DNS服务器对每个查询将以DNS文件中主机[......]

Read more

微博计数器的设计|数量统计

微博计数器的设计。Update: 更新了数据持久化和一致性保证相关的内容,多谢 @lihan_harry @郑环Zheng @51刘达 等同学的提醒。

Update2: 更新了 对于weibo_id key的优化,使用前缀压缩,可以节省近一半的空间。 感谢 @吴廷彬 @drdrxp 的建议!

上周挖了一个坑

([微架构设计]微博计数器的设计(上) http://qing.weibo.com/1639780001/61bd0ea133002460.html ) ,
虽然挖这个坑的动机是很不纯的(很明显的招聘软文, 非常欣慰的是确实收到了不少靠谱的简历, 希望简历来得更猛烈一些![......]

Read more

Java字符串比较的注意点

Java字符串比较的注意点。

熟悉C++的人对于两个字符串比较的代码一定很了解:
(string1==string2)
但在java中,这个代码即使在两个字符串完全相同的情况下也会返回false
Java中必须使用string1.equals(string2)来进行判断

补充
如果:
string s1=new String(“Hello”);
string s2=new String(“Hello”);
则(s1==s2)=false

如果:
string s1=”Hello”;
string s2=”Hello”;
则(s1==s2)=true;
因[......]

Read more