關(guān)于Linux虛擬內(nèi)存和物理內(nèi)存的介紹
有網(wǎng)友說Linux的內(nèi)存與Windows的內(nèi)存有區(qū)別吧?針對這個問題,學(xué)習(xí)啦小編就給大家整理了相關(guān)文章給大家普及下關(guān)于Linux 虛擬內(nèi)存和物理內(nèi)存的理解。
關(guān)于Linux 虛擬內(nèi)存和物理內(nèi)存的理解。
首先,讓我們看下虛擬內(nèi)存:
第一層理解
1. 每個進程都有自己獨立的4G內(nèi)存空間,各個進程的內(nèi)存空間具有類似的結(jié)構(gòu)
2. 一個新進程建立的時候,將會建立起自己的內(nèi)存空間,此進程的數(shù)據(jù),代碼等從磁盤拷貝到自己的進程空間,哪些數(shù)據(jù)在哪里,都由進程控制表中的task_struct記錄,task_struct中記錄中一條鏈表,記錄中內(nèi)存空間的分配情況,哪些地址有數(shù)據(jù),哪些地址無數(shù)據(jù),哪些可讀,哪些可寫,都可以通過這個鏈表記錄
3. 每個進程已經(jīng)分配的內(nèi)存空間,都與對應(yīng)的磁盤空間映射
問題:
計算機明明沒有那么多內(nèi)存(n個進程的話就需要n*4G)內(nèi)存
建立一個進程,就要把磁盤上的程序文件拷貝到進程對應(yīng)的內(nèi)存中去,對于一個程序?qū)?yīng)的多個進程這種情況,浪費內(nèi)存!
第二層理解
1. 每個進程的4G內(nèi)存空間只是虛擬內(nèi)存空間,每次訪問內(nèi)存空間的某個地址,都需要把地址翻譯為實際物理內(nèi)存地址
2. 所有進程共享同一物理內(nèi)存,每個進程只把自己目前需要的虛擬內(nèi)存空間映射并存儲到物理內(nèi)存上。
3. 進程要知道哪些內(nèi)存地址上的數(shù)據(jù)在物理內(nèi)存上,哪些不在,還有在物理內(nèi)存上的哪里,需要用頁表來記錄
4.頁表的每一個表項分兩部分,第一部分記錄此頁是否在物理內(nèi)存上,第二部分記錄物理內(nèi)存頁的地址(如果在的話)
5. 當(dāng)進程訪問某個虛擬地址,去看頁表,如果發(fā)現(xiàn)對應(yīng)的數(shù)據(jù)不在物理內(nèi)存中,則缺頁異常
6.缺頁異常的處理過程,就是把進程需要的數(shù)據(jù)從磁盤上拷貝到物理內(nèi)存中,如果內(nèi)存已經(jīng)滿了,沒有空地方了,那就找一個頁覆蓋,當(dāng)然如果被覆蓋的頁曾經(jīng)被修改過,需要將此頁寫回磁盤
優(yōu)點:
1.既然每個進程的內(nèi)存空間都是一致而且固定的,所以鏈接器在鏈接可執(zhí)行文件時,可以設(shè)定內(nèi)存地址,而不用去管這些數(shù)據(jù)最終實際的內(nèi)存地址,這是有獨立內(nèi)存空間的好處
2.當(dāng)不同的進程使用同樣的代碼時,比如庫文件中的代碼,物理內(nèi)存中可以只存儲一份這樣的代碼,不同的進程只需要把自己的虛擬內(nèi)存映射過去就可以了,節(jié)省內(nèi)存
3.在程序需要分配連續(xù)的內(nèi)存空間的時候,只需要在虛擬內(nèi)存空間分配連續(xù)空間,而不需要實際物理內(nèi)存的連續(xù)空間,可以利用碎片。
另外,事實上,在每個進程創(chuàng)建加載時,內(nèi)核只是為進程“創(chuàng)建”了虛擬內(nèi)存的布局,具體就是初始化進程控制表中內(nèi)存相關(guān)的鏈表,實際上并不立即就把虛擬內(nèi)存對應(yīng)位置的程序數(shù)據(jù)和代碼(比如.text .data段)拷貝到物理內(nèi)存中,只是建立好虛擬內(nèi)存和磁盤文件之間的映射就好(叫做存儲器映射),等到運行到對應(yīng)的程序時,才會通過缺頁異常,來拷貝數(shù)據(jù)。還有進程運行過程中,要動態(tài)分配內(nèi)存,比如malloc時,也只是分配了虛擬內(nèi)存,即為這塊虛擬內(nèi)存對應(yīng)的頁表項做相應(yīng)設(shè)置,當(dāng)進程真正訪問到此數(shù)據(jù)時,才引發(fā)缺頁異常。
補充理解:
虛擬存儲器涉及三個概念: 虛擬存儲空間,磁盤空間,內(nèi)存空間
可以認(rèn)為虛擬空間都被映射到了磁盤空間中,(事實上也是按需要映射到磁盤空間上,通過mmap),并且由頁表記錄映射位置,當(dāng)訪問到某個地址的時候,通過頁表中的有效位,可以得知此數(shù)據(jù)是否在內(nèi)存中,如果不是,則通過缺頁異常,將磁盤對應(yīng)的數(shù)據(jù)拷貝到內(nèi)存中,如果沒有空閑內(nèi)存,則選擇犧牲頁面,替換其他頁面。
mmap是用來建立從虛擬空間到磁盤空間的映射的,可以將一個虛擬空間地址映射到一個磁盤文件上,當(dāng)不設(shè)置這個地址時,則由系統(tǒng)自動設(shè)置,函數(shù)返回對應(yīng)的內(nèi)存地址(虛擬地址),當(dāng)訪問這個地址的時候,就需要把磁盤上的內(nèi)容拷貝到內(nèi)存了,然后就可以讀或者寫,最后通過manmap可以將內(nèi)存上的數(shù)據(jù)換回到磁盤,也就是解除虛擬空間和內(nèi)存空間的映射,這也是一種讀寫磁盤文件的方法,也是一種進程共享數(shù)據(jù)的方法 共享內(nèi)存
接下來我們來討論下物理內(nèi)存:
在內(nèi)核態(tài)申請內(nèi)存比在用戶態(tài)申請內(nèi)存要更為直接,它沒有采用用戶態(tài)那種延遲分配內(nèi)存技術(shù)。內(nèi)核認(rèn)為一旦有內(nèi)核函數(shù)申請內(nèi)存,那么就必須立刻滿足該申請內(nèi)存的請求,并且這個請求一定是正確合理的。相反,對于用戶態(tài)申請內(nèi)存的請求,內(nèi)核總是盡量延后分配物理內(nèi)存,用戶進程總是先獲得一個虛擬內(nèi)存區(qū)的使用權(quán),最終通過缺頁異常獲得一塊真正的物理內(nèi)存。
1.物理內(nèi)存的內(nèi)核映射
IA32架構(gòu)中內(nèi)核虛擬地址空間只有1GB大小(從3GB到4GB),因此可以直接將1GB大小的物理內(nèi)存(即常規(guī)內(nèi)存)映射到內(nèi)核地址空間,但超出1GB大小的物理內(nèi)存(即高端內(nèi)存)就不能映射到內(nèi)核空間。為此,內(nèi)核采取了下面的方法使得內(nèi)核可以使用所有的物理內(nèi)存。
1).高端內(nèi)存不能全部映射到內(nèi)核空間,也就是說這些物理內(nèi)存沒有對應(yīng)的線性地址。不過,內(nèi)核為每個物理頁框都分配了對應(yīng)的頁框描述符,所有的頁框描述符都保存在mem_map數(shù)組中,因此每個頁框描述符的線性地址都是固定存在的。內(nèi)核此時可以使用alloc_pages()和alloc_page()來分配高端內(nèi)存,因為這些函數(shù)返回頁框描述符的線性地址。
2).內(nèi)核地址空間的后128MB專門用于映射高端內(nèi)存,否則,沒有線性地址的高端內(nèi)存不能被內(nèi)核所訪問。這些高端內(nèi)存的內(nèi)核映射顯然是暫時映射的,否則也只能映射128MB的高端內(nèi)存。當(dāng)內(nèi)核需要訪問高端內(nèi)存時就臨時在這個區(qū)域進行地址映射,使用完畢之后再用來進行其他高端內(nèi)存的映射。
由于要進行高端內(nèi)存的內(nèi)核映射,因此直接能夠映射的物理內(nèi)存大小只有896MB,該值保存在high_memory中。內(nèi)核地址空間的線性地址區(qū)間如下圖所示:
從圖中可以看出,內(nèi)核采用了三種機制將高端內(nèi)存映射到內(nèi)核空間:永久內(nèi)核映射,固定映射和vmalloc機制。
2.物理內(nèi)存管理機制
基于物理內(nèi)存在內(nèi)核空間中的映射原理,物理內(nèi)存的管理方式也有所不同。內(nèi)核中物理內(nèi)存的管理機制主要有伙伴算法,slab高速緩存和vmalloc機制。其中伙伴算法和slab高速緩存都在物理內(nèi)存映射區(qū)分配物理內(nèi)存,而vmalloc機制則在高端內(nèi)存映射區(qū)分配物理內(nèi)存。
伙伴算法
伙伴算法負(fù)責(zé)大塊連續(xù)物理內(nèi)存的分配和釋放,以頁框為基本單位。該機制可以避免外部碎片。
per-CPU頁框高速緩存
內(nèi)核經(jīng)常請求和釋放單個頁框,該緩存包含預(yù)先分配的頁框,用于滿足本地CPU發(fā)出的單一頁框請求。
slab緩存
slab緩存負(fù)責(zé)小塊物理內(nèi)存的分配,并且它也作為高速緩存,主要針對內(nèi)核中經(jīng)常分配并釋放的對象。
vmalloc機制
vmalloc機制使得內(nèi)核通過連續(xù)的線性地址來訪問非連續(xù)的物理頁框,這樣可以最大限度的使用高端物理內(nèi)存。
3.物理內(nèi)存的分配
內(nèi)核發(fā)出內(nèi)存申請的請求時,根據(jù)內(nèi)核函數(shù)調(diào)用接口將啟用不同的內(nèi)存分配器。
3.1 分區(qū)頁框分配器
分區(qū)頁框分配器 (zoned page frame allocator) ,處理對連續(xù)頁框的內(nèi)存分配請求。分區(qū)頁框管理器分為兩大部分:前端的管理區(qū)分配器和伙伴系統(tǒng),如下圖:
管理區(qū)分配器負(fù)責(zé)搜索一個能滿足請求頁框塊大小的管理區(qū)。在每個管理區(qū)中,具體的頁框分配工作由伙伴系統(tǒng)負(fù)責(zé)。為了達到更好的系統(tǒng)性能,單個頁框的申請工作直接通過per-CPU頁框高速緩存完成。該分配器通過幾個函數(shù)和宏來請求頁框,它們之間的封裝關(guān)系如下圖所示。
這些函數(shù)和宏將核心的分配函數(shù)__alloc_pages_nodemask()封裝,形成滿足不同分配需求的分配函數(shù)。其中,alloc_pages()系列函數(shù)返回物理內(nèi)存首頁框描述符,__get_free_pages()系列函數(shù)返回內(nèi)存的線性地址。 3.2 slab分配器
slab 分配器最初是為了解決物理內(nèi)存的內(nèi)部碎片而提出的,它將內(nèi)核中常用的數(shù)據(jù)結(jié)構(gòu)看做對象。slab分配器為每一種對象建立高速緩存。內(nèi)核對該對象的分配和釋放均是在這塊高速緩存中操作。一種對象的slab分配器結(jié)構(gòu)圖如下:
可以看到每種對象的高速緩存是由若干個slab組成,每個slab是由若干個頁框組成的。雖然slab分配器可以分配比單個頁框更小的內(nèi)存塊,但它所需的所有內(nèi)存都是通過伙伴算法分配的。slab高速緩存分專用緩存和通用緩存。專用緩存是對特定的對象,比如為內(nèi)存描述符創(chuàng)建高速緩存。通用緩存則是針對一般情況,適合分配任意大小的物理內(nèi)存,其接口即為kmalloc()。 3.3 非連續(xù)內(nèi)存區(qū)內(nèi)存的分配
內(nèi)核通過vmalloc()來申請非連續(xù)的物理內(nèi)存,若申請成功,該函數(shù)返回連續(xù)內(nèi)存區(qū)的起始地址,否則,返回NULL。vmalloc()和kmalloc()申請的內(nèi)存有所不同,kmalloc()所申請內(nèi)存的線性地址與物理地址都是連續(xù)的,而vmalloc()所申請的內(nèi)存線性地址連續(xù)而物理地址則是離散的,兩個地址之間通過內(nèi)核頁表進行映射。
vmalloc()的工作方式理解起來很簡單:
1).尋找一個新的連續(xù)線性地址空間;
2).依次分配一組非連續(xù)的頁框;
3).為線性地址空間和非連續(xù)頁框建立映射關(guān)系,即修改內(nèi)核頁表;
vmalloc()的內(nèi)存分配原理與用戶態(tài)的內(nèi)存分配相似,都是通過連續(xù)的虛擬內(nèi)存來訪問離散的物理內(nèi)存,并且虛擬地址和物理地址之間是通過頁表進行連接的,通過這種方式可以有效的使用物理內(nèi)存。但是應(yīng)該注意的是,vmalloc()申請物理內(nèi)存時是立即分配的,因為內(nèi)核認(rèn)為這��內(nèi)存分配請求是正當(dāng)而且緊急的;相反,用戶態(tài)有內(nèi)存請求時,內(nèi)核總是盡可能的延后,畢竟用戶態(tài)跟內(nèi)核態(tài)不在一個特權(quán)級。
總結(jié):學(xué)習(xí)啦小編推薦的文章就到這里了,大家都了解Linux的虛擬內(nèi)存與物理內(nèi)存了么