歡迎光臨
每天分享高質量文章

五分鐘徹底搞懂你一直沒明白的Linux記憶體管理

現在的伺服器大部分都是執行在Linux上面的,所以,作為一個程式員有必要簡單地瞭解一下系統是如何執行的。對於記憶體部分需要知道:

  1. 地址對映

  2. 記憶體管理的方式

  3. 缺頁異常

先來看一些基本的知識,在行程看來,記憶體分為核心態和使用者態兩部分,經典比例如下:

從使用者態到核心態一般透過系統呼叫、中斷來實現。使用者態的記憶體被劃分為不同的區域用於不同的目的:

當然核心態也不會無差別地使用,所以,其劃分如下:

下麵來仔細看這些記憶體是如何管理的。

地址

在Linux內部的地址的對映過程為邏輯地址–>線性地址–>物理地址,物理地址最簡單:地址匯流排中傳輸的數字訊號,而線性地址和邏輯地址所表示的則是一種轉換規則,線性地址規則如下:

這部分由MMU完成,其中涉及到主要的暫存器有CR0、CR3。機器指令中出現的是邏輯地址,邏輯地址規則如下:

在Linux中的邏輯地址等於線性地址,也就是說Inter為了相容把事情搞得很複雜,Linux簡化順便偷個懶。

記憶體管理的方式

在系統boot的時候會去探測記憶體的大小和情況,在建立複雜的結構之前,需要用一個簡單的方式來管理這些記憶體,這就是bootmem,簡單來說就是點陣圖,不過其中也有一些最佳化的思路。

bootmem再怎麼最佳化,效率都不高,在要分配記憶體的時候畢竟是要去遍歷,buddy系統剛好能解決這個問題:在內部儲存一些2的冪次大小的空閑記憶體片段,如果要分配3page,去4page的串列裡面取一個,分配3個之後將剩下的1個放回去,記憶體釋放的過程剛好是一個逆過程。用一個圖來表示:

可以看到0、4、5、6、7都是正在使用的,那麼,1、2被釋放的時候,他們會合併嗎?

static inline unsigned long

__find_buddy_index(unsigned long page_idx, unsigned int order)

{

   return page_idx ^ (1 << order);// 更新最高位,0~1互換

}

從上面這段程式碼中可以看到,0、1是buddy,2、3是buddy,雖然1、2相鄰,但他們不是。記憶體碎片是系統執行的大敵,夥伴系統機制可以在一定程度上防止碎片~~另外,我們可以透過cat /proc/buddyinfo獲取到各order中的空閑的頁面數。

夥伴系統每次分配記憶體都是以頁(4KB)為單位的,但系統執行的時候使用的絕大部分的資料結構都是很小的,為一個小物件分配4KB顯然是不划算了。Linux中使用slab來解決小物件的分配:

在執行時,slab向buddy“批發”一些記憶體,加工切塊以後“散賣”出去。隨著大規模多處理器系統和NUMA系統的廣泛應用,slab終於暴露出不足:

  1. 複雜的佇列管理

  2. 管理資料和佇列儲存開銷較大

  3. 長時間執行partial佇列可能會非常長

  4. 對NUMA支援非常複雜

為瞭解決這些高手們開發了slub:改造page結構來削減slab管理結構的開銷、每個CPU都有一個本地活動的slab(kmem_cache_cpu)等。對於小型的嵌入式系統存在一個slab模擬層slob,在這種系統中它更有優勢。

小記憶體的問題算是解決了,但還有一個大記憶體的問題:用夥伴系統分配10 x 4KB的資料時,會去16 x 4KB的空閑串列裡面去找(這樣得到的物理記憶體是連續的),但很有可能系統裡面有記憶體,但是夥伴系統分配不出來,因為他們被分割成小的片段。那麼,vmalloc就是要用這些碎片來拼湊出一個大記憶體,相當於收集一些“邊角料”,組裝成一個成品後“出售”:

之前的記憶體都是直接對映的,第一次感覺到頁式管理的存在:D 另外對於高階記憶體,提供了kmap方法為page分配一個線性地址。

行程由不同長度的段組成:程式碼段、動態庫的程式碼、全域性變數和動態產生資料的堆、棧等,在Linux中為每個行程管理了一套虛擬地址空間:

在我們寫程式碼malloc完以後,並沒有馬上佔用那麼大的物理記憶體,而僅僅是維護上面的虛擬地址空間而已,只有在真正需要的時候才分配物理記憶體,這就是COW(COPY-ON-WRITE:寫時複製)技術,而物理分配的過程就是最複雜的缺頁異常處理環節了,下麵來看!

缺頁異常

在實際需要某個虛擬記憶體區域的資料之前,和物理記憶體之間的對映關係不會建立。如果行程訪問的虛擬地址空間部分尚未與頁幀關聯,處理器自動引發一個缺頁異常。在核心處理缺頁異常時可以拿到的資訊如下:

  1. cr2:訪問到線性地址

  2. err_code:異常發生時由控制單元壓入棧中,表示發生異常的原因

  3. regs:發生異常時暫存器的值

處理的流程如下:

發生缺頁異常的時候,可能因為不常使用而被swap到磁碟上了,swap相關的命令如下:

如果記憶體是mmap對映到記憶體中的,那麼在讀、寫對應記憶體的時候也會產生缺頁異常。

來源:WsztRush

連結:http://wsztrush.github.io/%E7%BC%96%E7%A8%8B%E6%8A%80%E6%9C%AF/2015/05/13/Linux-Memory.html



————近期開班————

《馬哥Linux雲端計算及架構師》課程,由知名Linux佈道師馬哥創立,經歷了8年的發展,聯合阿裡巴巴、唯品會、大眾點評、騰訊、陸金所等大型網際網路一線公司的馬哥課程團隊的工程師進行深度定製開發,課程採用 Centos7.2系統教學,加入了大量實戰案例,授課案例均來自於一線的技術案例,自動化運維、Devops、雲服務、python等技能一站式搞定,掌握2018年linux雲端計算高薪未來。

29期網路班:2018年02月10日(網路)

30期面授班:2018年03月26日(北京)

掃描二維碼領取學習資料

更多Linux好文請點選【閱讀原文】哦

↓↓↓

贊(0)

分享創造快樂

© 2024 知識星球   網站地圖