swap空间和tmpfs文件系统的使用原理
首先,swap空间是由磁盘空间转换成虚拟内存空间的,而tmpfs是由虚拟内存空间转换成文件系统使用的。而swap空间是由操作系统和tmpfs文件系统使用,而tmpfs是由用户指定才能使用;默认情况下,系统会把/dev/shm挂载为tmpfs系统,并且默认大小是实际内存大小的一半,这个大小只是一个上限值,并且tmpfs使用的是VM的空间,VM就是虚拟内存,由物理内存和swap组成,如果你的/dev/shm里面没有放任何东西,那么不会占用VM的大小,如果设置tmpfs的大小超过物理内存的一半,而且使用tmpfs的时候也超过了物理内存的一般,那么tmpfs将使用swap空间。使用完毕之后,/dev/shm下面的某些内容被删除了,那么VM的空间也会相应的自动回收,所以tmpfs真正使用的空间大小是由VM管理子系统自动管理的。而swap是由磁盘创建的,里面存放的主要是一些匿名变量,包括堆栈空间,由new和malloc分配的空间,进程和线程被操作系统调度时使用到的某些资源。
swap分区的详细介绍:
Swap,即交换区,除了安装Linux的时候,有多少人关心过它呢?其实,Swap的调整对Linux服务器,特别是Web服务器的性能至关重要。通过调整Swap,有时可以越过系统性能瓶颈,节省系统升级费用。
Swap的原理是一个较复杂的问题,需要大量的篇幅来说明。在这里只作简单的介绍,在以后的文章中将和大家详细讨论Swap实现的细节。
众所周知,现代操作系统都实现了“虚拟内存”这一技术,不但在功能上突破了物理内存的限制,使程序可以操纵大于实际物理内存的空间,更重要的是,“虚拟内存”是隔离每个进程的安全保护网,使每个进程都不受其它程序的干扰。
Swap 空间的作用可简单描述为:当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到Swap空间中,等到那些程序要运行时,再从Swap中恢复保存的数据到内存中。这样,系统总是在物理内存不够时,才进行Swap交换。
计算机用户会经常遇这种现象。例如,在使用Windows系统时,可以同时运行多个程序,当你切换到一个很长时间没有理会的程序时,会听到硬盘“哗哗”直响。这是因为这个程序的内存被那些频繁运行的程序给“偷走”了,放到了Swap区中。因此,一旦此程序被放置到前端,它就会从Swap区取回自己的数据,将其放进内存,然后接着运行。
需要说明一点,并不是所有从物理内存中交换出来的数据都会被放到Swap中(如果这样的话,Swap就会不堪重负),有相当一部分数据被直接交换到文件系统。例如,有的程序会打开一些文件,对文件进行读写(其实每个程序都至少要打开一个文件,那就是运行程序本身),当需要将这些程序的内存空间交换出去时,就没有必要将文件部分的数据放到 Swap空间中了,而可以直接将其放到文件里去。如果是读文件操作,那么内存数据被直接释放,不需要交换出来,因为下次需要时,可直接从文件系统恢复;如果是写文件,只需要将变化的数据保存到文件中,以便恢复。但是那些用malloc和new函数生成的对象的数据则不同,它们需要Swap空间,因为它们在文件系统中没有相应的“储备”文件,因此被称作“匿名”(Anonymous)内存数据。这类数据还包括堆栈中的一些状态和变量数据等。所以说,Swap
空间是“匿名”数据的交换空间。
突破128M Swap限制
经常看到有些Linux(国内汉化版)安装手册上有这样的说明:Swap空间不能超过128M。为什么会有这种说法?在说明“128M”这个数字的来历之前,先给问题一个回答:现在根本不存在128M的限制!现在的限制是2G!
Swap 空间是分页的,每一页的大小和内存页的大小一样,方便Swap空间和内存之间的数据交换。旧版本的Linux实现Swap空间时,用Swap空间的第一页作为所有Swap空间页的一个“位映射”(Bit map)。这就是说第一页的每一位,都对应着一页Swap空间。如果这一位是1,表示此页Swap可用;如果是0,表示此页是坏块,不能使用。这么说来,第一个Swap映射位应该是0,因为,第一页Swap是映射页。另外,最后10个映射位也被占用,用来表示Swap的版本(原来的版本是 Swap_space ,现在的版本是swapspace2)。那么,如果说一页的大小为s,这种Swap的实现方法共能管理“8
* ( s - 10 ) - 1”个Swap页。对于i386系统来说s=4096,则空间大小共为133890048,如果认为1 MB=2^20 Byte的话,大小正好为128M。
之所以这样来实现Swap空间的管理,是要防止Swap空间中有坏块。如果系统检查到Swap中有坏块,则在相应的位映射上标记上0,表示此页不可用。这样在使用Swap时,不至于用到坏块,而使系统产生错误。
现在的系统设计者认为:
1.现在硬盘质量很好,坏块很少。
2.就算有,也不多,只需要将坏块罗列出来,而不需要为每一页建立映射。
3.如果有很多坏块,就不应该将此硬盘作为Swap空间使用。
于是,现在的Linux取消了位映射的方法,也就取消了128M的限制。直接用地址访问,限制为2G。
Swap配置对性能的影响
分配太多的Swap空间会浪费磁盘空间,而Swap空间太少,则系统会发生错误。
如果系统的物理内存用光了,系统就会跑得很慢,但仍能运行;如果Swap空间用光了,那么系统就会发生错误。例如,Web服务器能根据不同的请求数量衍生出多个服务进程(或线程),如果Swap空间用完,则服务进程无法启动,通常会出现“application is out of memory”的错误,严重时会造成服务进程的死锁。因此Swap空间的分配是很重要的。
通常情况下,Swap空间应大于或等于物理内存的大小,最小不应小于64M,通常Swap空间的大小应是物理内存的2-2.5倍。但根据不同的应用,应有不同的配置:如果是小的桌面系统,则只需要较小的Swap空间,而大的服务器系统则视情况不同需要不同大小的Swap空间。特别是数据库服务器和Web服务器,随着访问量的增加,对Swap空间的要求也会增加,具体配置参见各服务器产品的说明。
另外,Swap分区的数量对性能也有很大的影响。因为Swap交换的操作是磁盘IO 的操作,如果有多个Swap交换区,Swap空间的分配会以轮流的方式操作于所有的Swap,这样会大大均衡IO的负载,加快Swap交换的速度。如果只有一个交换区,所有的交换操作会使交换区变得很忙,使系统大多数时间处于等待状态,效率很低。用性能监视工具就会发现,此时的CPU并不很忙,而系统却慢。这说明,瓶颈在IO上,依靠提高CPU的速度是解决不了问题的。
系统性能监视
Swap空间的分配固然很重要,而系统运行时的性能监控却更加有价值。通过性能监视工具,可以检查系统的各项性能指标,找到系统性能的瓶颈。本文只介绍一下在Solaris下和Swap相关的一些命令和用途。
最常用的是Vmstat命令(在大多数Unix平台下都有这样一些命令),此命令可以查看大多数性能指标。
例如:
# vmstat 3
procs memory swap io system cpu
r b w swpd free buff cache si so bi bo in cs us sy id
0 0 0 0 93880 3304 19372 0 0 10 2 131 10 0 0 99
0 0 0 0 93880 3304 19372 0 0 0 0 109 8 0 0 100
0 0 0 0 93880 3304 19372 0 0 0 0 112 6 0 0 100
…………
命令说明:
vmstat 后面的参数指定了性能指标捕获的时间间隔。3表示每三秒钟捕获一次。第一行数据不用看,没有价值,它仅反映开机以来的平均性能。从第二行开始,反映每三秒钟之内的系统性能指标。这些性能指标中和Swap有关的包括以下几项:
procs下的w
它表示当前(三秒钟之内)需要释放内存、交换出去的进程数量。
memory下的swpd
它表示使用的Swap空间的大小。
Swap下的si,so
si表示当前(三秒钟之内)每秒交换回内存(Swap in)的总量,单位为kbytes;so表示当前(三秒钟之内)每秒交换出内存(Swap out)的总量,单位为kbytes。
以上的指标数量越大,表示系统越忙。这些指标所表现的系统繁忙程度,与系统具体的配置有关。系统管理员应该在平时系统正常运行时,记下这些指标的数值,在系统发生问题的时候,再进行比较,就会很快发现问题,并制定本系统正常运行的标准指标值,以供性能监控使用。
另外,使用Swapon-s也能简单地查看当前Swap资源的使用情况。例如:
# swapon -s
Filename Type Size Used Priority
/dev/hda9 partition 361420 0 3
能够方便地看出Swap空间的已用和未用资源的大小。
应该使Swap负载保持在30%以下,这样才能保证系统的良好性能。
有关Swap操作的系统命令
增加Swap空间,分以下几步:
1)成为超级用户
$su - root
2)创建Swap文件
# dd if=/dev/zero of=swapfile bs=1024 count=65536
创建一个有连续空间的交换文件。
3)激活Swap文件
#/usr/sbin/swapon swapfile
swapfile指的是上一步创建的交换文件。 4)现在新加的Swap文件已经起作用了,但系统重新启动以后,并不会记住前几步的操作。因此要在/etc/fstab文件中记录文件的名字,和Swap类型,如:
/path/swapfile none Swap sw,pri=3 0 0
5)检验Swap文件是否加上
/usr/sbin/swapon -s
删除多余的Swap空间。
1)成为超级用户
2)使用Swapoff命令收回Swap空间。
#/usr/sbin/swapoff swapfile
3)编辑/etc/fstab文件,去掉此Swap文件的实体。
4)从文件系统中回收此文件。
#rm swapfile
5)当然,如果此Swap空间不是一个文件,而是一个分区,则需创建一个新的文件系统,再挂接到原来的文件系统上。
tmpfs文件系统的介绍:
linux下面VM的大小由RM(Real Memory)和swap组成,RM的大小就是物理内存的大小,而Swap的大小是由你自己决定的。Swap是通过硬盘虚拟出来的内存空间,因此它的读写速度相对RM(Real Memory)要慢许多,我们为什么需要Swap呢?当一个进程申请一定数量的内存时,如内核的vm子系统发现没有足够的RM时,就会把RM里面的一些不常用的数据交换到Swap里面,如果需要重新使用这些数据再把它们从Swap交换到RM里面。 如果你有足够大的物理内存,根本不需要划分Swap分区。
通过上面的说明,你该知道tmpfs使用的存储空间VM是什么了吧? 前面说过VM由RM+Swap两部分组成,因此tmpfs最大的存储空间可达(The size of RM + The size of Swap)。 但是对于tmpfs本身而言,它并不知道自己使用的空间是RM还是Swap,这一切都是由内核的vm子系统管理的。
怎样使用tmpfs呢?
CODE:
#mount -t tmpfs -o size=20m tmpfs /mnt/tmp
|
上面这条命令分配了上限为20m的VM到/mnt/tmp目录下,用df命令查看一下,确实/mnt/tmp挂载点显示的大小是20m,但是tmpfs一个优点就是它的大小是随着实际存储的容量而变化的,换句话说,假如/mnt/tmp目录下什么也没有,tmpfs并不占用VM。上面的参数20m只是告诉内核这个挂载点最大可用的VM为20m,如果不加上这个参数,tmpfs默认的大小是RM的一半,假如你的物理内存是128M,那么tmpfs默认的大小就是64M,
tmpfs有没有缺点呢?
当然有,由于它的数据是在VM里面,因此断电或者你卸载它之后,数据就会立即丢失,这也许就是它叫tmpfs的原故。不过这其实不能说是缺点。那tmpfs到底有什么用呢?
tmpfs的用途
由于tmpfs使用的是VM,因此它比硬盘的速度肯定要快,因此我们可以利用这个优点使用它来提升机器的性能。
CODE:
#mount -t tmpfs -o size=2m tmpfs /tmp
|
上面这条命令分配了最大2m的VM给/tmp。
由于/tmp目录是放临时文件的地方,因此我们可以使用tmpfs来加快速度,由于没有挂载之前/tmp目录下的文件也许正在被使用,因此挂载之后系统也许有的程序不能正常工作。没有关系,只要在/etc/fstab里面加上下面的语句
CODE:
tmpfs /tmp tmpfs size=2m 0 0
|
重启电脑之后就一切OK了。
RAMDISK的介绍:
Linux内存磁盘,虚拟硬盘的使用
由于php没有超级变量,一直想把一些变量,类等放到内存,不用每次请求都重新读取一次提高性能,但一直没找到好的办法
先是想到php的模块 eacclerator,它可以使用系统的共享内存,并且提供函数可以读写,但php的类有个问题就是:实例化以后,类的方法不能被序列化,必须在之前包含,于是用共享内存的方法失败。
再想到用Linux系统带的ram,把它挂载成磁盘不就行了:
首先执行 mkfs.ex2 /dev/ram0
然后挂载 mount /dev/ram0 /ram
这样用时没问题的,但存在几个问题导致了我放弃了这个思路:1,启动的时候不能自动挂载,就是没法通过修改/etc/fstab 加载,因为加载之前需要mkfs。2,文件系统导致内存空间浪费,越先进的fs浪费越多,而内存不需要太先进,因为不考虑数据丢失。3,不论虚拟盘里有没有文件,都会占用这么大的内存,不能动态分配。
经过搜索和实践,终于找到一个好的解决办法,就是使用tmpfs,它是动态管理的,而且可以放在/etc/fstab 启动时候加载,写一行:
tmpfs /var/ram tmpfs size=100M 0 0
表示 挂载到 /var/ram 100M大小。
只要在apache启动前把类文件解压到此虚拟盘就行了,修改php.ini的include_path,这样所有的include不再耗费io时间,速度肯定暴快,而且还能用来保存一些需要快速读取得变量,比如点击统计,也能存成超级变量,不过需要注意的是磁盘空间,如果服务器磁盘够大,就没问题了。
----------------------------------------------------
如何创建任意大小的linux内存虚拟硬盘
您讲的内存盘是英译过来的:即ramdisk,并非虚拟内存大多数的Linux发行版本中,内存盘默认使用的是/dev/shm 路径,文件系统类型为tmpfs 默认大小是内存实际的大小,这很符合实际的操作习惯,操作这个路径就是对内存的操作。我们可以重新设置这个内存盘的大小,或者建立新的内存盘,以加速一些特别的应用,例如squid的缓冲,dns的缓冲文件等等。重设内存盘大小:例如: mount -o remount,size=3G /dev/shm
注意size的大小可以的单位是M\k\G 新建内存盘:例如: mkdir /usr/local/squid/var/cache mount -t tmpfs -o size=3G,mode=0755 tmpfs /usr/local/squid/var/cache 注意重新设置内存盘后为了使用下次启用生效必须写到fstab文件中,一般linux是在/etc/fstab中。
----------------------------------------------------
Linux的RAM disk
在开发中,程序经常需要频繁地读写某些临时文件,遇到这种情况,RAM
disk就是最好的解决办法。
简单地说,RAM disk就是将一块内存模拟成为某个磁盘驱动器,对应用程序来说,RAM disk和普通磁盘是完全一样的,也就是说,RAM disk对应用程序是“透明”的——唯一的区别在于,系统重新启动或者关机时,存储在RAM disk上的数据会丢失。
核心版本在2.4以上的Linux内置了对RAM disk的支持,下面,我们就来看看如何使用RAM disk(操作系统为RedHat Linux AS)。
在默认情况下,RedHat会创建16块RAM disk,但不是所有的RAM disk都处于激活(active)状态。下面列出了ram0-ram19一共20块RAM disk,但只有ram0-ram15是可以使用的。
[root]# ls -l /dev/ram*
lrwxrwxrwx 1 root root 4 Jun 12 00:31 /dev/ram -> ram1
brw-rw---- 1 root disk 1, 0 Jan 30 2003 /dev/ram0
brw-rw---- 1 root disk 1, 1 Jan 30 2003 /dev/ram1
brw-rw---- 1 root disk 1, 10 Jan 30 2003 /dev/ram10
brw-rw---- 1 root disk 1, 11 Jan 30 2003 /dev/ram11
brw-rw---- 1 root disk 1, 12 Jan 30 2003 /dev/ram12
brw-rw---- 1 root disk 1, 13 Jan 30 2003 /dev/ram13
brw-rw---- 1 root disk 1, 14 Jan 30 2003 /dev/ram14
brw-rw---- 1 root disk 1, 15 Jan 30 2003 /dev/ram15
brw-rw---- 1 root disk 1, 16 Jan 30 2003 /dev/ram16
brw-rw---- 1 root disk 1, 17 Jan 30 2003 /dev/ram17
brw-rw---- 1 root disk 1, 18 Jan 30 2003 /dev/ram18
brw-rw---- 1 root disk 1, 19 Jan 30 2003 /dev/ram19
brw-rw---- 1 root disk 1, 2 Jan 30 2003 /dev/ram2
brw-rw---- 1 root disk 1, 3 Jan 30 2003 /dev/ram3
brw-rw---- 1 root disk 1, 4 Jan 30 2003 /dev/ram4
brw-rw---- 1 root disk 1, 5 Jan 30 2003 /dev/ram5 |