[ 2007-11-16 14:32 | by 张宴 ]
[文章作者:张宴 本文版本:v1.0 最后修改:2007.11.16 转载请注明出处:http://blog.]
最近遇到一个问题,Linux下的PHP命令行程序作为守护进程,需要从队列文件中读一行数据,通过TCP协议发送给外地的接收服务器,再读下一行数据,再发送。当本地与外地的网络状况不好时,有时候发送一条数据所耗费的时间就较长,累积起来容易造成队列堵塞和延迟。 于是,我准备用该PHP命令行程序生成多个子进程,将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行,例如: <?php 最后的&表示将shell脚本推到后台去执行。exec("/bin/sh /opt/zhangyan.sh &"); ?> 但是这样会有一个问题,如果推到后台的进程太多,可能会导致服务器系统资源耗尽而崩溃,所以必须控制进程数量。 我写了一个PHP程序(/opt/zhangyan.php)、一个shell程序(/opt/zhangyan.sh)作为测试用例。 程序的逻辑: 1、设置/opt/zhangyan.php最多允许生成500个子进程; 2、当/opt/zhangyan.php读取到一条数据后,将允许生成的子进程数减1(空闲进程数$p_number=500-1=499),然后将 数据交给/opt/zhangyan.sh去后台处理,不等待/opt/zhangyan.sh处理结束,继续读取下一条数据; 3、当允许生成的子进程数减至0时(空闲进程数$p_number=0),/opt/zhangyan.php会等待1秒钟,然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束; 4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500(空闲进程数$p_number=0),会继续等待1秒钟,如此反复; 5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了(空闲进程 数$p_number=500-300=200),那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进 程; /opt/zhangyan.php代码如下:
/opt/zhangyan.sh代码如下:
执行程序: /usr/local/php/bin/php /opt/zhangyan.php (/usr/local/php/bin/php因PHP解析器所在的路径) 查看/opt/zhangyan.sh打下的日志文件的第一行和最后一行: head -n 1 /opt/zhangyan.log 2007-11-16 07:54:13 http://blog.tail -n 1 /opt/zhangyan.log 2007-11-16 07:54:18 http://blog.可以看出,500进程并发处理这1000条数据只耗费5秒钟。而按照原来的串行模式,处理每条数据即使只耗费最短的1秒钟,也需要1000秒,约合16分钟才能完成。 PS:将PHP程序作为Linux守护进程的方法: nohup /usr/local/php/bin/php /opt/zhangyan.php 2>&1 > /dev/null & (nohup命令可以在用户退出终端后仍然执行程序,“2>&1 > /dev/null”表示不显示标准输出和错误输出,最后的&表示推到后台执行。) |
|