Python multiprocessing 使用手记[1] – 进程模型

首先从multiprocessing的进程模型开始看。

multiprocessing的目的是创建一个接口和python.threading 类似接口的库，用多进程的方式来并发处理。因此创建一个新的进程的的方法也 和python.threading很像：

 

import multiprocessing

def dosomething(a,b,c): pass

p = multiprocessing.Process(target=dosomething, args=(1,2,3))
p.start()
p.join()

 

创建的这个新的进程在*nix上面使用的是fork，这意味着子进程开始执行的时候具有与父进程相同的全部内容。请记住这点，这个将是下面我们讨论 基于继承的对象共享的基础。所谓基于继承的对象共享，是说在创建子进程之前由父进程初始化的某些对象可以在子进程当中直接访问到。在Windows平台 上，因为没有fork语义的系统调用，基于继承的共享对象比*nix有更多的限制，最主要就是体现在要求Process的__init__当中的参数必须可以Pickle 。

 

但是，并不是所有的对象都是可以通过继承来共享，只有multiprocessing库当中的某些对象才可以。例如Queue，同步对象，共享变量，Manager等等。

 

在一个multiprocessing库的典型使用场景下，所有的子进程都是由一个父进程启动起来的，这个父进程称为master进程。这个父进程 非常重要，它会管理一系列的对象状态，一旦这个进程退出，子进程很可能会处于一个很不稳定的状态，因为它们共享的状态也许已经被损坏掉了。因此，这个进程 最好尽可能做最少的事情，以便保持其稳定性。