分享

互联网运营智慧—高可用可扩展网站技术实战

 筠珑枫绦 2011-06-18

 20110515

《互联网运营智慧—高可用可扩展网站技术实战》

作者: 田逸著(201011月第1版第1次)

清华大学出版社 Tsinghua University Press http://www.tup./

北京清华大学学研大厦A座(100084)

 

作者简介

田逸,男,土家族,重庆秀山人,全真龙门27代俗家弟子。长期从事Linux/Unix大负载网站运营工作,专注于IT保障事业。

 

内容简介

互联网运维是一门系统化的学问,也是一门新兴学科,书店里也很难找到一本能全面介绍运维体系的书籍,这是《互联网运营智慧:高可用可扩展网站技术实战》创作的初衷。《互联网运营智慧:高可用可扩展网站技术实战》深入浅出地介绍运维架构中的各个节点,从网络规划到服务器安装到负载均衡、分布式文件系统等架构规划,无一不囊括,包括:从简要说明选择开源技术作为运营环境开篇,到选定平台及工具的部署实施,以实例展示如何使用开源工具,来实现用户访问量在1000万这样的一个级别的站点功能。在《互联网运营智慧:高可用可扩展网站技术实战》中,也穿插了一些非技术方面的描述,如在系统运营中,有哪些日常事务、服务扩展该怎么着手,以及在运营中有哪些策略及技巧等。《互联网运营智慧:高可用可扩展网站技术实战》加入了作者的思想、经验、教训及建议等,尽可能使用类比方式来说明一些复杂且不易理解的东西,同时增强文章的可读性和趣味性。

《互联网运营智慧:高可用可扩展网站技术实战》结合了作者在中科院、空中网等运维一线奋战的经验,详细阐述了常见运维问题的解决之道。《互联网运营智慧:高可用可扩展网站技术实战》和实际开发结合程度很高,书中大部分的示例都是从实际项目中简化而来,因此很多例子都可以直接拿到实际项目中使用。

无论是对刚入门的系统管理员,还是资深的运维工程师,相信你研读《互联网运营智慧:高可用可扩展网站技术实战》之后,都会有不少收获。

 

P5CENTOS一般需要选择的软件包,包括:Administration Tools, Development Libraries, Development Tools, Network Servers, System Tools等。

P7,在创建分区时,每创建一个新的分区,就需要手动输入挂接点Mount Point,选择文件类型选择磁盘(如果存在多盘操作时),以及指定分区大小

P32,比较流行的WEB服务器:Apache, Lighttpd, Nginx等。

 

P33,源码安装APACHE

解包tar zxvf httpd-2.2.12.tar.gz

切换目录 cd httpd-2.2.12

配置 ./confiure –prefix=/usr/local/apache –enable-so –enable-rewrite –with-mpm=worker

编译 make

安装 make install

 

检查编辑模块是否正确:apache/bin/apachectl –l

检查配置文件是否正确:apache/bin/apachectl –t

启动APACHE服务器:apache/bin/apachectl start

 

P52,设定LINUX的系统环境变量

/etc/profile 文件追加内容

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=$JAVA_HOME/lib

保存文件后,执行 source /etc/profile,使修改立即生效。

 

P65,域名系统bind

wget http://ftp.../bind-9.5.2-p3.tar.gz

源码安装略

运行:/usr/local/named/sbin/named

 

P155,使用负载均衡的主要目的如下:

系统高可用性,某个组件的失效不会影响正常的服务;

系统可扩展性,可以透明扩充容量:宽带、服务器、存储、数据库等;

负载均衡能力,每个服务器可以根据权重分担负载;

一个完整的负载均衡项目,一般由虚拟服务器、故障隔离和失败切换3个功能框架组成。

虚拟服务器包括两层结构:负载均衡器和真实服务器。

故障隔离是指某个真实服务器失效或者发生故障时,系统自动将该服务器从转发队列中清理出去,相反,当服务器被修复后,系统再自动地把它加入到转发队列中

失效切换是针对负载均衡器来说的,当主负载均衡器发生故障时,备份负载均衡器自动接管主负载均衡器的工作;一旦主负载均衡器修复后,两者自动回到最初的角色。

 

Ipvsadm+keepalive=负载均衡

角色

所需IP

实现负载所需软件

操作

主负载均衡器

接口IP, VIP

Ipvsadm+keepalive

安装软件

备份负载均衡器

接口IP, VIP

Ipvsadm+keepalive

安装软件

真实服务器

接口IP, VIP

LVS客户端配置脚本

编写配置脚本

more /usr/local/bin/lvs_real

在多vrrp_instance负载均衡应用场景下,两个负载均衡器都转发用户请求。

 

P247,分布式文件系统的选择

Lustre, hadop, PNFS, MooseFS.

 

P258MFS服务器安装包括:元数据服务器、元数据日志服务器、数据存储服务器

MFS客户端安装:

Mfsmount依赖fuse,安装fuse

tar zxvf fuse-2.7.4.tar.gz

cd fuse-2.7.4

./configure

make;make install

修改/etc/profile,然后执行 source /etc/profile使之生效

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

安装MFS客户端

tar zxvf mfs-1.6.11.tar.gz

cd mfs-1.6.11

Useradd mfs –s /sbin/nologin

./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount

make;make install

挂接和使用MFS文件系统

创建挂接点:mkdir /mnt/mfs

加载FUSE模块:modprobe fuse

挂接:/usr/local/mfs/bin/mfsmount /mnt/mfs –H 192.168.1.19

将挂接命令追加到 /etc/rc.local ,可以实现开机自动挂接MFS.

 

P304HADOOP项目:

Hadoop Common:通用工具

Chukwa:开源数据收集系统,用于大规模分布环境的状态监控

Hbase:可扩展的分布式数据库

HDFS:分布式文件系统

MapReduce:分布式并行计算框架

Hive:数据仓库

Pig:大数据集分析平台

Zookeeper:分布式应用的高性能协作服务

 

P325GRE/IP隧道网关:通过穿越互联网,提供网络到网络的私有访问,与VPN比较,VPN是点到面(一个用户拨号,访问一个私有网络),而隧道则是面到面(网络访问网络)。

 

P339,监控系统Nagios,要实现资源和服务两个方面的监控,需要配置服务器端(Nagios Server)和被监控端(NRPE-Nagios Remote Plugin Executor
 

 

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多