相關概念和關鍵資料結構

1、 irq號：在當前系統中全域性唯一，對應核心資料結構struct irq_desc，每個外設的中斷有一個irq號(體系結構預留的中斷，是沒有對應的irq_desc結構和irq號的)，該irq在該中斷的生命週期內都不會改變，且和該中斷的中斷處理函式關聯；核心使用一個bitmap allocated_irqs來標識當前系統已經分配的irq；irq號的管理與底層中斷裝置和配置無關，屬於Generic Interrupt Layer；對於irq號分佈集中的情況，不配置CONFIG_SPARSE_IRQ，核心採用陣列直接管理，陣列下標就是irq號；而對於irq號比較分散的，設定CONFIG_SPARSE_IRQ，核心採用radix tree來管理所有的irq號。 
2、 vector號：核心使用全域性bitmap used_vectors來標識那些vector被系統預留，不能被外設分配使用。 
3、 irq號和vector號的關聯：核心中使用per-cpu變數vector_irq來描述irq號和vector號的關聯，對每個CPU，vector_irq是一個陣列，在X86架構下成員數量為256，其陣列的index為vector，值為irq,如果為-1則表示該CPU上的這個vector尚未分配。 
4、 struct irq_desc結構，用來描述一個中斷，是核心generic interrupt layer的關鍵資料結構，其包含了中斷的大部分資訊，並連線了driver層和物理中斷裝置層，每個irq號對應一個該結構，共享相同irq號的中斷共享該結構。它的關鍵成員包括：

    a)  irq_data  :為該中斷對應的物理中斷裝置層相關的資料。     

    b)  handle_irq：為該該中斷使用的通用邏輯介面。

    c)  action：為driver層提供的ISR資訊，其為一個單向連結串列結構，所有共享該中斷的裝置的ISR都連結在這裡。

核心關鍵資料結構和相關初始化

對X86 CPU，Linux核心使用全域性idt_table來表達當前的IDT，該變數定義在traps.c

gate_desc  idt_table[NR_VECTORS] __page_aligned_data = { { { { 0, 0 } } }, };//初始化為全0。

對中斷相關的初始化，核心主要有以下工作： 
1、 設定used_vectors，確保外設不能分配到X86保留使用的vector(預留的vector範圍為[0,31]，另外還有其他透過apic_intr_init等介面預留的系統使用的vector); 
2、 設定X86CPU保留使用的vector對應的IDT entry;這些entry使用特定的中斷處理介面； 
3、 設定外設 (包括ISA中斷)使用的中斷處理介面，這些中斷處理介面都一樣。 
4、 設定ISA IRQ使用的irq_desc； 
5、 把IDT的首地址載入到CPU的IDTR(Interrupt Descriptor Table Register); 
6、 初始化中斷控制器(下一章描述) 
以上工作主要在以下函式中完成：

可以看到，這個過程會完成每個中斷vector對應的idt entry的初始化，系統把這些中斷vector分成以下幾種： 
1、X86保留vector，這些vector包括[0,0x1f]和APIC等系統部件佔用的vector,對這些vector，會記錄在bitmap used_vectors中，確保不會被外設分配使用；同時這些vector都使用各自的中斷處理介面，其中斷處理過程相對簡單(沒有generic interrupt layer的參與，CPU直接呼叫到各自的ISR)。 
2、ISA irqs，對這些中斷，在初始化過程中已經完成了irq_desc、vector_irq、以及IDT中對應entry的分配和設定，同時可以發現ISA中斷，在初始化的時候都被設定為執行在0號CPU。 
3、其它外設的中斷，對這些中斷，在初始化過程中僅設定了對應的IDT，和ISA中斷一樣，其中斷處理介面都來自interrupt陣列。

中斷處理介面interrupt陣列 
interrupt陣列是核心中外設中斷對應的IDT entry，其在entry_64.S中定義，定義如下：

這段彙編的效果是：在程式碼段，生成了一個符號irq_entries_start，該符號對應的內容是一組可執行程式碼，一共(NR_VECTORS-FIRST_EXTERNAL_VECTOR+6)/7組，每組為7個中斷入口，為：

每組的最後一個中斷入口不需要jmp 2f是因為其pushq_cfi(就是pushq咯)下麵就 
是2f這個標號的地址了。（不明白的是：為什麼不在jmp 2f的地方直接寫上jmp common_interrupt?非要jmp 2f，2f的地方再次jmp common_interrupt？ ）

而interrupt是一個陣列，該陣列在初始化完成後釋放，其每個陣列項都是一個地址，是對應的“pushq_cfi”程式碼的地址(每個代表中斷入口的標號)。系統在初始化的時候，對外設使用interrupt陣列作中斷處理介面，就是在中斷發生時，執行程式碼段：

初始化中斷控制器

對中斷控制器的使用基本上有三種機制： 
1、 中斷路由表 $PIR 
struct irq_routing_table，該結構用於使用PIR和8259A的系統，在微軟的文獻《PCI IRQ Routing Table Specification》中描述了該結構詳細資訊。其描述了一個PCI裝置的INT#是如何連線到PIR裝置的輸入埠的。其關鍵資料是一個可變長的struct irq_info陣列，每個struct irq_info描述了一個PCI物理裝置的4個INT#相關的中斷路由資訊和對應可用的ISA IRQs的bitmap。BIOS根據相關裝置的物理連線填寫該資料結構，OS在裝置初始化過程中使用這些資訊為使用INT#的裝置分配對應的vector和irq。 
2、 MP table 
struct mpc_intsrc，該資料結構用於使用I/O APIC的系統中，描述系統中所有PCI裝置4個INT#訊號和I/O APIC輸入引腳的對應關係。該資料結構的srcbus成員為對應PCI裝置的bus id；srcbusirq描述了一個INT#訊號，其bit0-bit1用於描述是INTA#–INTD#中的哪一個(對應值為0-3)，bit2-bit6描述該PCI裝置的slot id。dstapic為該描述對應的I/O APIC的ID。dstirq描述srcbus和srcbusirq確定的INT#對應的irq號資訊(具體的解析有多種情況)。在系統中有一個以該資料結構為成員的全域性陣列mp_irqs，用於管理系統中所有的硬體中斷訊號和irq之間的關聯。對MP table及其使用的更加詳細的描述，見《Multiprocessor Specification v1.4》 
3、 ACPI(Advanced Configuration and PowerInterface)機制 
這種機製為I/O APIC機制和中PIR機制提供統一的管理介面，該機制使用struct acpi_prt_entry描述INT#和GSI(能和vector、irq對應)的關係，系統中所有的struct acpi_prt_entry由OS從BIOS提供的資訊中獲取，並儲存在連結串列acpi_prt_list中。 
註：對GSI的說明，GSI(global system interrupt)表示的是系統中中斷控制器的每個輸入管腳的唯一編號，在使用ACPI樣式管理中斷控制器的時候使用。對使用8259A的系統，GSI和ISA IRQ是一一對應的。對於使用APIC的，每個I/O APIC會由BISO分配一個基址，這個base+對應管腳的編號(從0開始)就是對應的GSI。通常是基址為0的I/O APIC的前16個管腳用於ISA IRQS，對GSI更加詳細的描述，見《Advanced Configuration and Power Interface Revision 2.0》

除了中斷路由表，其它兩種機制的初始化(包括相關中斷路由資訊的初始化)的在《interrupt in linux》中有很詳細的描述。這些初始化操作都在核心初始化的時候完成。

為PCI裝置配置中斷

為PCI裝置配置中斷，分為兩個步驟， 
步驟一：為裝置分配irq號(對MSIX，會有多個)，為該中斷分配執行CPU和它使用的vector，並透過對中斷控制器的設定，確保對應的中斷訊號和vector匹配。對於使用INT#型別的中斷，通常透過pci_enable_device/pci_enable_device_mem/pci_enable_device_io中對函式pcibios_enable_device的呼叫來完成(只有在沒有開啟MSI/MSIX的時候才會為INT#做配置)，而要配置MSI/MSIX中斷要使用的是pci_enable_msix。 
步驟二：request_irq為該裝置的irq指定對應的中斷處理例程，把irq號和驅動定義ISR關聯。

pcibios_enable_device

該介面用於使能PCI裝置INT#樣式的中斷。其主要功能由pcibios_enable_irq(dev)完成，pcibios_enable_irq是一個函式指標，對於ACPI樣式，其在上電過程中被設定為acpi_pci_irq_enable，其它情況被設定為pirq_enable_irq。

對ACPI樣式，其執行過程為： 
1、 acpi_pci_irq_enable：其先根據裝置的管腳資訊獲取一個GSI(可以認為有了GSI，就有了irq號，gsi_to_irq可以完成其轉換)，有了gsi/irq，要完成設定還必須有vector並且把它們關聯起來，因此如果GSI獲取成功，會使用acpi_register_gsi來完成後續操作。 
2、 acpi_register_gsi：其主要功能由__acpi_register_gsi來完成，該函式指標在ACPI樣式下被設定為acpi_register_gsi_ioapic，acpi_register_gsi_ioapic的執行過程如下： 
mp_register_gsi===>io_apic_set_pci_routing===>io_apic_set_pci_routing===>io_apic_setup_irq_pin_once===>io_apic_setup_irq_pin===>setup_ioapic_irq，在setup_ioapic_irq中，就會利用assign_irq_vector為該irq選擇對應的執行CPU，並分配該CPU上的vector，同時還把該vector等配置寫入到I/O APIC對應管腳的RTE，從而完成整個中斷的配置。這樣在該INT#訊號到來的時候，I/O APIC就能根據對應管腳的RTE，把該訊號翻譯為一個vector，並透過中斷訊息傳送到local APIC。同時在setup_ioapic_irq中，還透過ioapic_register_intr===>irq_set_chip_and_handler_name為得到的irq號對應的irq_desc設定了->irq_data.chip和handle_irq函式指標（對level觸發的，為handle_fasteoi_irq，否則為handle_edge_irq）

對其它樣式，其透過pcibios_lookup_irq完成執行： 
在配置了I/O APIC的場景，pirq_enable_irq透過IO_APIC_get_PCI_irq_vector獲取到irq號，然後和ACPI樣式一樣，透過io_apic_set_pci_routing完成對I/O APIC的配置。而對沒有配置I/O APIC的場景，主要透過pcibios_lookup_irq來完成相關操作： 
1、 pcibios_lookup_irq透過讀取BIOS提供的中斷路由表 ($PIR表，irq_routing_table)資訊和當前irq分配情況(pirq_penalty陣列)，在考慮均衡的前提下為當前裝置分配一個可用的irq。 
2、 根據當前PIR的相關資訊，決定最終的irq號選擇，相關程式碼行如下

也就是：如果是硬連結(INT#直接連線到了8259A，沒有經過PIR)，直接獲取irq號，如果PIR中已經有該輸入線的配置，使用已有的值，否則利用剛剛分配的可用irq，並寫入到PIR，以便能夠完成中斷訊號到irq號的轉換。 
註意： 
1、這裡的r，也就是pirq_router，代表一種PIR硬體，全域性配置pirq_routers中描述了當前支援的PIR，併在初始化的時候透過pirq_find_router獲取了對應當前配置的PIR對應的描述。 
2、這裡沒有分配vector，是因為這裡使用的irq號範圍為0-16，是ISA IRQs，其與vector的對應關係簡單：vector = IRQ0_VECTOR + irq，併在系統初始化過程中，已經透過early_irq_init中分配了irq_desc結構，透過init_IRQ設定了vector_irq(只執行於CPU0上)，然後透過x86_init.irqs.intr_init(native_init_IRQ)===> x86_init.irqs.pre_vector_init(init_ISA_irqs)設定了->irq_data.chip(i8259A_chip)和handle_irq函式指標(handle_level_irq)。

Pci_enable_msix

該函式完成MSIX中斷相關的設定。

msix_capability_init中實現中斷初始化的是arch_setup_msi_irqs，對於X86系統，其為x86_setup_msi_irqs，x86_setup_msi_irqs中直接呼叫了native_setup_msi_irqs，該函式是X86系統中實現MSIX中斷初始化的關鍵函式，對於沒有啟用interrupt remap的系統，其實現如下：

該函式中有兩個關鍵函式，分別是create_irq_nr和setup_msi_irq，其中create_irq_nr是分配一個vector給當前的中斷，分配vector的同時，也為該中斷指定了執行CPU。setup_msi_irq則負責把相關配置資訊寫入到PCIE配置區，並設定irq_desc的資料，其中關鍵的是irq_desc的handle_irq被設定為handle_edge_irq。 
create_irq_nr的實現如下：

其中__assign_irq_vector負責分配vector，並和中斷在CPU上的排程相關，其實現如下

從實現中可以看到，該函式從FIRST_EXTERNAL_VECTOR(外設中斷的起始vector號，通常是0x20) 到first_system_vector(外部中斷結束vector號，通常是254，255被系統作為保留的SPURIOUS_APIC_VECTOR使用)的範圍中，為當前中斷分配一個vector，要求該vector在對應的cpu上均可用，該vector按照系統配置的要求和對應的cpu核心系結，併在要求的cpu中沒有被其它中斷使用。需要說明的是，在setup_msi_irq中會再次透過msi_compose_msg再次呼叫__assign_irq_vector，但是由於這時已經存在滿足CPU系結要求的vector，不會多次分配。

從以上分析可以得到MSI-X中斷的一個系結特徵：根據當前APIC配置，每個中斷都有對應的可以執行的cpu，pci_enable_msix在這些要求的cpu核心上建立了vector (APIC的配置由資料結構struct apic來抽象，其vector_allocation_domain用於決定需要在那些cpu核心上為該中斷建立vector)，當前我的系統使用的是apic_physflat，對每個MSI中斷，其只在一個cpu核心上建立vector，對應的MSI-X中斷事實上被系結到該cpu核心上。在使用者透過echo xxx > /proc/irq/xxx/affinity來調整中斷的系結屬性時，核心會重新為該中斷分配一個新的在對應核心上可用的vector，但是irq號不會改變。系結屬性調整的呼叫路徑大致為irq_affinity_proc_fops===>irq_affinity_proc_write===> write_irq_affinity===>irq_set_affinity===>__irq_set_affinity_locked===>chip->irq_set_affinity(msi_set_affinity)。也就是最終透過msi_set_affinity來實現，在該函式中首先透過 __ioapic_set_affinity在系結屬性要求的cpu中選擇空閑vector，然後透過__write_msi_msg把配置寫入PCIE配置區。需要說明的是：該irq最終可以執行的cpu數量並不完全由使用者指定，還與apic的樣式相關，對於apic_physflat，實際上只為該irq分配了一個cpu核心，該irq只能執行在使用者指定的cpu中的一個，而不是全部。

附：關於全域性變數apic

該全域性變數為local apic的抽象，在不同的系統配置下，有不同的選擇，其最終的選擇結果，由內核的config(反應在/arch/x86/kernel/apic/Makefile)和硬體配置等來決定。 
1、 定義各種apic driver 
首先，每種apic配置都會使用apic_driver/ apic_drivers來定義，apic_driver的定義如下

這個定義的目的是把sym的地址寫入到名為” .apicdrivers”的段中。 
2、 定義全域性符號__apicdrivers和__apicdrivers_end 
在linker script vmlinux.lds.S中，定義了__apicdrivers為” .apicdrivers”段的開始地址，而__apicdrivers_end為結束地址。” .apicdrivers”段中是各個不同的apic配置對應的struct apic。

3、 apic的probe 
在初始化過程(start_kernel)中，會呼叫default_setup_apic_routing(probe_64.c中定義)來完成apic的probe，該函式會按照各個struct apic結構在.apicdrivers中的順序，依次呼叫其probe介面，第一個呼叫傳回非0的struct apic結構就被初始化到全域性變數apic。也就是：如果有多個apic結構可用，最終會選擇在.apicdrivers段中出現的第一個；所以makefile檔案中各個.o出現的順序也會覺得最終的apic probe結果。

request_irq

該函式把irq和使用者指定的中斷處理函式關聯。使用者指定的每個處理函式對應於一個struct irqaction結構，這些處理函式構成一個連結串列，儲存在struct irq_desc：：action成員中。詳細見request_irq===>request_threaded_irq中的處理。

中斷的執行

在核心程式碼中，對X86平臺中斷執行的基本過程是： 
1、 透過IDT中的中斷描述符，呼叫common_interrupt； 
2、 透過common_interrupt，呼叫do_IRQ，完成vector到irq_desc的轉換，進入Generic interrupt layer(呼叫處理函式generic_handle_irq_desc)； 
3、 呼叫在中斷初始化的時候，按照中斷特性(level觸發，edge觸發等、simple等)初始化的irq_desc:: handle_irq，執行不同的通用處理介面，比如handle_simple_irq； 
4、 這些通用處理介面會呼叫中斷初始化的時候註冊的外部中斷處理函式；完成EOI等硬體相關操作；並完成中斷處理的相關控制。

common_interrupt

按照之前CPU執行中斷過程的描述，X86 CPU在準備好了中斷執行環境後，會呼叫中斷描述符定義的中斷處理入口；根據中斷相關初始化過程我們知道，對於使用者自定義中斷，中斷處理入口都是(對系統預留的，就直接執行定義的介面了)：

就是在把vector入棧後，執行common_interrupt，common_interrupt在entry_64.S中定義，其中關鍵步驟為：呼叫do_IRQ，完成後會根據環境判斷是否需要執行排程，最後執行iretq指令完成中斷處理，iret指令的重要功能就是回覆中斷函式前的EFLAGS(執行中斷入口前被入棧儲存，並清零IF位關中斷)，並恢復執行被中斷的程式(這裡不一定會恢復到之前的執行環境，可能執行軟中斷處理，或者執行排程)。

do_IRQ

do_IRQ的基本處理過程如下，其負責中斷執行環境建立、vector到irq的轉換等

Generic interrupt layer

該層負責的是平臺無關/裝置無關的中斷通用邏輯，對這部分，在《Linux generic IRQ handling》中有詳細描述。其負責完成中斷處理的介面是generic_handle_irq_desc，該介面會執行irq_desc：：handle_irq； Generic interrupt layer根據中斷特性的不同，把中斷分成幾類，包括：level type(handle_level_irq)、edge type(handle_edge_irq)、simple type(handle_simple_irq)等，這些中斷型別對應的處理函式是都在kernel/irq/chip.c中定義，併入前面的描述，在相關中斷初始化的時候，被賦值給irq_desc：：handle_irq；對於PCI裝置，只用了兩種，level type(INT#樣式)、edge type(MSI/MSI-X樣式)。

edge 觸發中斷的基本處理過程：

電壓跳變觸發中斷===>中斷控制器接收中斷，記IRR暫存器===>中斷控制器置ISR暫存器===>CPU遮蔽本CPU中斷===>CPU處理中斷，發出EOI===>中斷控制器確認可以處理下一次中斷===>ISR清中斷源，電壓歸位===>中斷源可以發起下一次中斷===>CPU中斷處理完成，執行完現場處理後執行IRET，不再遮蔽本CPU中斷。 
edge觸發的特點： 
a) 中斷不會丟 
如果中斷觸發時中斷被遮蔽，那麼中斷控制器會記錄下該中斷，在遮蔽取消的時候會再執行。 
b) edge觸發的缺點是完成共享不方便： 
比如A和B兩個中斷源共享一個中斷，每次ISR先檢查A再檢查B，如果B先發生中斷，在ISR檢查完A，檢查B的過程中，A發生中斷。那麼在ISR處理開始的時候，A會告訴ISR，不是它乾的，然後ISR處理B的中斷，完成後透過清理中斷源把B的電壓歸位，但是由於A的中斷沒有得到處理，電壓沒有歸位，這個共享的中斷就不能得到再次觸發了。 
edge觸發對應的通用邏輯介面

level 觸發：

這種樣式下，外設透過把電壓保持到某個門限值來完成觸發中斷，在處理完成(EOI)後，如果電壓還在門限值，就會再次觸發中斷的執行。 
level觸發的特點： 
a) 方便中斷共享 
b) 對中斷觸發時中斷被遮蔽的情況，如果中斷遮蔽解除後仍然引腳電壓仍然在門限值，就執行該中斷的ISR，否則不執行。 
需要說明的是：對於使用local APIC的系統，level觸發和edge觸發需要配置local APIC的Local Vector Table。 
4、 level觸發對應的通用邏輯介面

level觸發和edge觸發在通用邏輯層最大的不同就是當其他CPU正在處理該中斷的時候，系統的行為，對edge觸發，會把該中斷記錄下來，當前處理結束後再次執行，而level直接退出。產生這種差異的原因是：level觸發不怕丟？

無論是那種觸發方式，都會呼叫handle_irq_event處理中斷，該函式中會遍歷irq_desc::action連結串列，執行action->handler，也就是驅動在中斷初始化的時候，透過request_irq註冊的中斷處理介面。

總結

中斷的使能狀態

1、 在local APIC層次(當前CPU)，一個中斷正在處理的時候，不會有相同的中斷或者優先順序低於該中斷的其它中斷來打斷當前中斷的執行；但是高優先順序中斷可以打斷低優先順序中斷。 
2、 在X86 CPU層次(當前CPU)，從中斷執行開始到IRET，IF位都被清零，也就是隻有不可遮蔽中斷能夠打斷當前中斷的執行。 
3、 在Generic interrupt layer層次，如果一個中斷已經在系統中執行，會阻止該中斷在其它CPU上的執行。 
4、 在外設/驅動中斷處理函式層次往往也有中斷使能的功能，比如啟用了NAPI的網絡卡，在中斷處理函式開始執行的時候，往往會透過硬體功能關閉該中斷，要在對應的軟中斷完成處理後才透過硬體功能使能該中斷。 
註：NMI中斷雖然稱為不可遮蔽中斷，也有一個例外：NMI中斷執行過程中，該CPU遮蔽了後來的NMI中斷。

中斷的執行CPU

透過中斷初始化過程我們知道：中斷在那個CPU上執行，取決於在那個CPU上申請了vector並配置了對應的中斷控制器(比如local APIC)。如果想要改變一個中斷的執行CPU，必須重新申請vector並配置中斷控制器。一般透過echo xxx > /proc/irq/xxx/affinity來完成調整，同時irq_balance一類軟體可以用於完成中斷的均衡。

（完）

phenix_lord

贊賞

長按二維碼向我轉賬

受蘋果公司新規定影響，微信 iOS 版的贊賞功能被關閉，可透過二維碼轉賬支援公眾號。

閱讀原文


微信掃一掃
使用小程式
即將開啟”“小程式
取消
開啟