spinlock理解-郭耀今

2. 原创 关于内核中spinlock的一些个人理解收藏
3. 新一篇: Windows程序中的字符编码 | 旧一篇: 主流显卡Linux系统驱动安装--intel、ATi篇
4. 由 于2.6内核可以抢占，应该在驱动程序中使用 preempt_disable() 和 preempt_enable()，从而保护代码段不被抢占（禁 止 IRQ 同时也就隐式地禁止了抢占）。preempt_disable和preempt_enable 调用。spin_lock_irq的功能和上 面的spin_lock提供的功能差不多，只不过它还多做了一步，就是把中断也关上，主要用于当前保护的数据在可能的中断程序中也要用到的情况。 spin_lock_irqsave和spin_lock_irq的功能一样，只不过调用这个函数以后可以把当前的中断状态记下了，以备以后恢复。
6. 在 多CPU的环境下情况就比较复杂了，因为同时可能有几个程序在运行（是真正的同时），所以必须要定义一个变量当作锁的功能，linux是这样规定的，当这 个变量为1时，那么其保护的变量可以被访问，当其值为0时，那么其保护的临界数据不可以被访问，其中，要改变变量锁的值也很有学问，就是不能让几个CPU 同时去改，负责就会出现不同步的情况。如spin_lock在多cpu的时候就被?/
8. 在这里，我主要把自己对内核中spinlock的一些理解写出来，并不是要告诉大家什么（因为我对我所说的也不能确定），而是希望大家对我的这些理解对的地方给我肯定，错误的地方给我指出。
10. 和 spinlock 相关的文件主要有两个，一个是include/linux/spinlock.h，主要是提供关于和硬件无关的spinlock的几个 对外主函数，一个是 include/asm-XXX/spinlock.h，用来提供和硬件相关的功能函数。另外，在2.6的内核中，又多了一个文 件， include/linux/preempt.h，为新增加的抢占式多任务功能提供一些服务。
12. spinlock的作用：spinlock系列函数主要用于保护临界数据（非常重要的数据）不被同时访问（给临界数据加锁），用以达到多任务的同步。如果一个数据当前不可访问，那么就一直等，直到可以访问为止。
14. spinlock 函 数的使用前提：首先，spinklock函数只能使用在内核中，或者说只能使用在内核状态下，在2.6以前的内核是不可抢占的，也就是说，当运行于内核状 态下时，是不容许切换到其他进程的。而在2.6以后的内核中，编译内核的时候多了一个选项，可以配置内核是否可以被抢占，这也就是为什么在2.6的内核中 多了一个preempt.h的原因。
16. spinlock主要包含以下几个函数：
17. spin_lock
18. spin_unlock
19. spin_lock_irqsave
20. spin_lock_irq
21. spin_unlock_irqrestore
22. spin_unlock_irq
23. 另 外还有其他很多，如关于读者写者的一套函数，关于bottom half一套函数（关于bottom half的代码我还没有读到），还有还提供了一套用 bit实现加锁的函数，由于大概意思都相同，所以我这里就不说了（只想简单说说，没想到东西还挺多，我的手都快冻僵了，江南的冬天真的受不了：）
24. spinlock函数根据机器的配置分为两套，单CPU和多CPU，先来看看单CPU的情况。
25. 在单CPU的情况下，spin_lock和spin_unlock函数都被定义成空操作（do { } while(0)）， 这是因为我们上面说的，内核不可以被抢占的原因。所以，在单CPU的情况下，只要你能够保证你要保护的临界数据不会在中断中用到的话，那么你的数据已经是 受保护的了，不需要做任何操作。在2.6内核中，这两个函数就不再这么简单了，因为内核也有可能被其他程序中断，所以要保护数据，还要让调度程序暂时不调 度此段程序，也就是说，暂时禁止抢占式任务调度功能，所以在上面两个函数中分别多了一个
31. 需要澄清的是，互斥手段的选择，不是根据临界区的大小，而是根据临界区的性质，以及
32. 有哪些部分的代码，即哪些内核执行路径来争夺。
34. 从严格意义上说，semaphore和spinlock_XXX属于不同层次的互斥手段，前者的
35. 实现有赖于后者，这有点象HTTP和TCP的关系，都是协议，但层次是不同的。
37. 先说semaphore，它是进程级的，用于多个进程之间对资源的互斥，虽然也是在
38. 内核中，但是该内核执行路径是以进程的身份，代表进程来争夺资源的。如果
39. 竞争不上，会有context switch，进程可以去sleep，但CPU不会停，会接着运行
40. 其他的执行路径。从概念上说，这和单CPU或多CPU没有直接的关系，只是在
41. semaphore本身的实现上，为了保证semaphore结构存取的原子性，在多CPU中需要
42. spinlock来互斥。
44. 在内核中，更多的是要保持内核各个执行路径之间的数据访问互斥，这是最基本的
45. 互斥问题，即保持数据修改的原子性。semaphore的实现，也要依赖这个。在单CPU
46. 中，主要是中断和bottom_half的问题，因此，开关中断就可以了。在多CPU中，
47. 又加上了其他CPU的干扰，因此需要spinlock来帮助。这两个部分结合起来，
48. 就形成了spinlock_XXX。它的特点是，一旦CPU进入了spinlock_XXX，它就不会
49. 干别的，而是一直空转，直到锁定成功为止。因此，这就决定了被
50. spinlock_XXX锁住的临界区不能停，更不能context switch，要存取完数据后赶快
51. 出来，以便其他的在空转的执行路径能够获得spinlock。这也是spinlock的原则
52. 所在。如果当前执行路径一定要进行context switch，那就要在schedule()之前
53. 释放spinlock，否则，容易死锁。因为在中断和bh中，没有context，无法进行
54. context switch，只能空转等待spinlock，你context switch走了，谁知道猴年
55. 马月才能回来。
57. 因为spinlock的原意和目的就是保证数据修改的原子性，因此也没有理由在spinlock
58. 锁住的临界区中停留。
60. spinlock_XXX有很多形式，有
63.   spin_lock()/spin_unlock()，
65.   spin_lock_irq()/spin_unlock_irq()，
67.   spin_lock_irqsave/spin_unlock_irqrestore()
69.   spin_lock_bh()/spin_unlock_bh()
73.   local_irq_disable/local_irq_enable
75.   local_bh_disable/local_bh_enable
81. 那么，在什么情况下具体用哪个呢？这要看是在什么内核执行路径中，以及要与哪些内核
82. 执行路径相互斥。我们知道，内核中的执行路径主要有：
85.  1  用户进程的内核态，此时有进程context，主要是代表进程在执行系统调用
87.     等。
89.  2  中断或者异常或者自陷等，从概念上说，此时没有进程context，不能进行
91.     context switch。
93.  3  bottom_half，从概念上说，此时也没有进程context。
95.  4  同时，相同的执行路径还可能在其他的CPU上运行。
100. 这样，考虑这四个方面的因素，通过判断我们要互斥的数据会被这四个因素中
101. 的哪几个来存取，就可以决定具体使用哪种形式的spinlock。如果只要和其他CPU
102. 互斥，就要用spin_lock/spin_unlock，如果要和irq及其他CPU互斥，就要用
103. spin_lock_irq/spin_unlock_irq，如果既要和irq及其他CPU互斥，又要保存
104. EFLAG的状态，就要用spin_lock_irqsave/spin_unlock_irqrestore，如果
105. 要和bh及其他CPU互斥，就要用spin_lock_bh/spin_unlock_bh，如果不需要和
106. 其他CPU互斥，只要和irq互斥，则用local_irq_disable/local_irq_enable，
107. 如果不需要和其他CPU互斥，只要和bh互斥，则用local_bh_disable/local_bh_enable，
108. 等等。值得指出的是，对同一个数据的互斥，在不同的内核执行路径中，
109. 所用的形式有可能不同(见下面的例子)。
111. 举一个例子。在中断部分中有一个irq_desc_t类型的结构数组变量irq_desc[]，
112. 该数组每个成员对应一个irq的描述结构，里面有该irq的响应函数等。
113. 在irq_desc_t结构中有一个spinlock，用来保证存取(修改)的互斥。
115. 对于具体一个irq成员，irq_desc[irq]，对其存取的内核执行路径有两个，一是
116. 在设置该irq的响应函数时(setup_irq)，这通常发生在module的初始化阶段，或
117. 系统的初始化阶段；二是在中断响应函数中(do_IRQ)。代码如下：
120. int setup_irq(unsigned int irq, struct irqaction * new)
122. {
124.         int shared = 0;
126.         unsigned long flags;
128.         struct irqaction *old, **p;
130.         irq_desc_t *desc = irq_desc + irq;
134.         /*
136.          * Some drivers like serial.c use request_irq() heavily,
138.          * so we have to be careful not to interfere with a
140.          * running system.
142.          */
144.         if (new->flags & SA_SAMPLE_RANDOM) {
146.                 /*
148.                  * This function might sleep, we want to call it first,
150.                  * outside of the atomic block.
152.                  * Yes, this might clear the entropy pool if the wrong
154.                  * driver is attempted to be loaded, without actually
156.                  * installing a new handler, but is this really a problem,
158.                  * only the sysadmin is able to do this.
160.                  */
162.                 rand_initialize_irq(irq);
164.         }
168.         /*
170.          * The following block of code has to be executed atomically
172.          */
174. [1]     spin_lock_irqsave(&desc->lock,flags);
176.         p = &desc->action;
178.         if ((old = *p) != NULL) {
180.                 /* Can't share interrupts unless both agree to */
182.                 if (!(old->flags & new->flags & SA_SHIRQ)) {
184. [2]                     spin_unlock_irqrestore(&desc->lock,flags);
186.                         return -EBUSY;
188.                 }
192.                 /* add new interrupt at end of irq queue */
194.                 do {
196.                         p = &old->next;
198.                         old = *p;
200.                 } while (old);
202.                 shared = 1;
204.         }
208.         *p = new;
212.         if (!shared) {
214.                 desc->depth = 0;
216.                 desc->status &= ~(IRQ_DISABLED | IRQ_AUTODETECT | IRQ_WAITING);
218.                 desc->handler->startup(irq);
220.         }
222. [3]     spin_unlock_irqrestore(&desc->lock,flags);
226.         register_irq_proc(irq);
228.         return 0;
230. }
234. asmlinkage unsigned int do_IRQ(struct pt_regs regs)
236. {        
238.         /* 
240.          * We ack quickly, we don't want the irq controller
242.          * thinking we're snobs just because some other CPU has
244.          * disabled global interrupts (we have already done the
246.          * INT_ACK cycles, it's too late to try to pretend to the
248.          * controller that we aren't taking the interrupt).
250.          *
252.          * 0 return value means that this irq is already being
254.          * handled by some other CPU. (or is disabled)
256.          */
258.         int irq = regs.orig_eax & 0xff; /* high bits used in ret_from_ code  */
260.         int cpu = smp_processor_id();
262.         irq_desc_t *desc = irq_desc + irq;
264.         struct irqaction * action;
266.         unsigned int status;
270.         kstat.irqs[cpu][irq]++;
272. [4]     spin_lock(&desc->lock);
274.         desc->handler->ack(irq);
276.         /*
278.            REPLAY is when Linux resends an IRQ that was dropped earlier
280.            WAITING is used by probe to mark irqs that are being tested
282.            */
284.         status = desc->status & ~(IRQ_REPLAY | IRQ_WAITING);
286.         status |= IRQ_PENDING; /* we _want_ to handle it */
290.         /*
292.          * If the IRQ is disabled for whatever reason, we cannot
294.          * use the action we have.
296.          */
298.         action = NULL;
300.         if (!(status & (IRQ_DISABLED | IRQ_INPROGRESS))) {
302.                 action = desc->action;
304.                 status &= ~IRQ_PENDING; /* we commit to handling */
306.                 status |= IRQ_INPROGRESS; /* we are handling it */
308.         }
310.         desc->status = status;
314.         /*
316.          * If there is no IRQ handler or it was disabled, exit early.
318.            Since we set PENDING, if another processor is handling
320.            a different instance of this same irq, the other processor
322.            will take care of it.
324.          */
326.         if (!action)
328.                 goto out;
332.         /*
334.          * Edge triggered interrupts need to remember
336.          * pending events.
338.          * This applies to any hw interrupts that allow a second
340.          * instance of the same irq to arrive while we are in do_IRQ
342.          * or in the handler. But the code here only handles the _second_
344.          * instance of the irq, not the third or fourth. So it is mostly
346.          * useful for irq hardware that does not mask cleanly in an
348.          * SMP environment.
350.          */
352.         for (;;) {
354. [5]             spin_unlock(&desc->lock);
356.                 handle_IRQ_event(irq, ®s, action);
358. [6]             spin_lock(&desc->lock);
360.                 
361.                 if (!(desc->status & IRQ_PENDING))
363.                         break;
365.                 desc->status &= ~IRQ_PENDING;
367.         }
369.         desc->status &= ~IRQ_INPROGRESS;
371. out:
373.         /*
375.          * The ->end() handler has to deal with interrupts which got
377.          * disabled while the handler was running.
379.          */
381.         desc->handler->end(irq);
383. [7]     spin_unlock(&desc->lock);
387.         if (softirq_pending(cpu))
389.                 do_softirq();
391.         return 1;
393. }
397. 在setup_irq()中，因为其他CPU可能同时在运行setup_irq()，或者在运行setup_irq()时，
398. 本地irq中断来了，要执行do_IRQ()以修改desc->status。为了同时防止来自其他CPU和
399. 本地irq中断的干扰，如[1][2][3]处所示，使用了spin_lock_irqsave/spin_unlock_irqrestore()
401. 而在do_IRQ()中，因为do_IRQ()本身是在中断中，而且此时还没有开中断，本CPU中没有
402. 什么可以中断其运行，其他CPU则有可能在运行setup_irq()，或者也在中断中，但这二者
403. 对本地do_IRQ()的影响没有区别，都是来自其他CPU的干扰，因此只需要用spin_lock/spin_unlock，
404. 如[4][5][6][7]处所示。值得注意的是[5]处，先释放该spinlock，再调用具体的响应函数。
406. 再举个例子：
409. static void tasklet_hi_action(struct softirq_action *a)
411. {
413.         int cpu = smp_processor_id();
415.         struct tasklet_struct *list;
419. [8]     local_irq_disable();
421.         list = tasklet_hi_vec[cpu].list;
423.         tasklet_hi_vec[cpu].list = NULL;
425. [9]     local_irq_enable();
429.         while (list) {
431.                 struct tasklet_struct *t = list;
435.                 list = list->next;
439.                 if (tasklet_trylock(t)) {
441.                         if (!atomic_read(&t->count)) {
443.                                 if (!test_and_clear_bit(TASKLET_STATE_SCHED, &t->state))
445.                                         BUG();
447.                                 t->func(t->data);
449.                                 tasklet_unlock(t);
451.                                 continue;
453.                         }
455.                         tasklet_unlock(t);
457.                 }
461. [10]            local_irq_disable();
463.                 t->next = tasklet_hi_vec[cpu].list;
465.                 tasklet_hi_vec[cpu].list = t;
467.                 __cpu_raise_softirq(cpu, HI_SOFTIRQ);
469. [11]            local_irq_enable();
471.         }
473. }
477. 这里，对tasklet_hi_vec[cpu]的修改，不存在CPU之间的竞争，因为每个CPU有各自独立的数据，
478. 所以只要防止irq的干扰，用local_irq_disable/local_irq_enable即可，如[8][9][10][11]处
479. 所示。