about netif_rx

由于历史原因，在之前的项目中，用的network stack一直是自研的，和linux原生的stack完全不兼容。渐渐的这种不兼容的痛已经透彻全身，一直想去动但是又动弹不得。马上又要研发新品了，这回觉得是该动一动了。于是开始学习linux原生的做法（之前搞了这么久其实不熟悉linux的实现。。），完全替换不可能，但是融合一下总可以把！

关键字：netif_rx, RPS, backlog, softirq, SMP

netif_rx的过程就不梳理了，只对自己的疑问和找到的答案做个记录。

netif_rx 把skb怎么了？

在RPS宏打开时，首先get_rps_cpu根据skb选择处理的core，然后enqueue_to_backlog把skb放到core对应的skb queue中，并且置位softirq，调度处理之。

backlog的处理是怎么调度的？

关于net_rx_action的softirq是怎么激活的，找了半天最后其实就在眼皮底下的enqueue_to_backlog里。写法不够直观，所以看了几遍才理解了。

static int enqueue_to_backlog(struct sk_buff *skb, int cpu,
			      unsigned int *qtail)
{
	struct softnet_data *sd;
	unsigned long flags;

	sd = &per_cpu(softnet_data, cpu);

	local_irq_save(flags);

	rps_lock(sd);
	if (skb_queue_len(&sd->input_pkt_queue) <= netdev_max_backlog) {
		if (skb_queue_len(&sd->input_pkt_queue)) { // ----- 队列是空的时候才会从这里跳到激活，否则只是做入队操作
enqueue:
			__skb_queue_tail(&sd->input_pkt_queue, skb);
			input_queue_tail_incr_save(sd, qtail);
			rps_unlock(sd);
			local_irq_restore(flags);
			return NET_RX_SUCCESS;
		}

		/* Schedule NAPI for backlog device
		 * We can use non atomic operation since we own the queue lock
		 */
		if (!__test_and_set_bit(NAPI_STATE_SCHED, &sd->backlog.state)) {
			if (!rps_ipi_queued(sd))  // ----- 这里置位，激活softirq
				____napi_schedule(sd, &sd->backlog);
		}
		goto enqueue;
	}

	sd->dropped++;
	rps_unlock(sd);

	local_irq_restore(flags);

	atomic_long_inc(&skb->dev->rx_dropped);
	kfree_skb(skb);
	return NET_RX_DROP;
}

也就是说在第一个skb入队前激活softirq，到softirq实际调度之前的时间里，入队的报文也会一并处理。这是为了提高性能做的处理，把报文聚合了。也就是说上行报文在每个core上会积攒到下一次softirq调度为止（按照以往经验，无线的话最多也就十几个报文把）。

顺便看了下 softirq 是怎么调度的。重点是irq_exit函数。每次IRQ处理函数结束后就会调用它，从而调度softirq。另外，softirq是预先定义好的10种，而tasklet是其中的两种，这个之前没去了解过。原来如此单纯啊，瞬间不高大上了。有个疑问是，如果没有中断上来，softirq的时效性如何保证啊？没有深究。。

CONFIG_RPS 是什么？

Symbol: RPS [=y]
Type : boolean
Prompt: RPS
Defined at net/Kconfig:240
Depends on: NET [=y] && SMP [=y] && SYSFS [=y] && USE_GENERIC_SMP_HELPERS [=y]
Location:
-> Networking support (NET [=y])
-> Networking options

RPS 依赖于 SMP，多核下对报文流进行分配和加速的功能。通过hash将报文流分配到固定的core上，以提高多核的利用率，以及提高cache的命中率。

SMP 下的 IRQ有什么区别？

SMP下使用 APIC，可以配置irq产生到特定core的几率。cat /proc/interrupts 可以看到每个终端在各个core上的次数：

$ cat /proc/interrupts 
           CPU0       CPU1       CPU2       CPU3       
  0:         50          0          0          0   IO-APIC-edge      timer
  1:      30098          0          0          0   IO-APIC-edge      i8042
  8:          0          0          0          0   IO-APIC-edge      rtc0
  9:          0          0          0          0   IO-APIC-fasteoi   acpi
 12:       8113          0          0          0   IO-APIC-edge      i8042
 14:          0          0          0          0   IO-APIC-edge      ata_piix
 15:      50474          0          0          0   IO-APIC-edge      ata_piix
 16:         71          0          0      33906   IO-APIC-fasteoi   eth1
 17:      25732          0          0          0   IO-APIC-fasteoi   eth2
 19:         98          0      63721          0   IO-APIC-fasteoi   eth0

如何控制 IRQ亲和性，IRQ Affinity，网上有很多资料。