深入剖析Linux共享內存原理

在Linux系統中，每個進程都有獨立的虛擬內存空間，也就是說不同的進程訪問同一段虛擬內存地址所得到的數據是不一樣的，這是因為不同進程相同的虛擬內存地址會映射到不同的物理內存地址上。

但有時候為了讓不同進程之間進行通信，需要讓不同進程共享相同的物理內存，Linux通過共享內存來實現這個功能。下面先來介紹一下Linux系統的共享內存的使用。

共享內存使用

1. 獲取共享內存

要使用共享內存，首先需要使用shmget()函數獲取共享內存，shmget()函數的原型如下：

intshmget(key_tkey,size_tsize,intshmflg);

• 參數key一般由ftok()函數生成，用于標識系統的唯一IPC資源。
• 參數size指定創建的共享內存大小。
• 參數shmflg指定shmget()函數的動作，比如傳入IPC_CREAT表示要創建新的共享內存。

函數調用成功時返回一個新建或已經存在的的共享內存標識符，取決于shmflg的參數。失敗返回-1，并設置錯誤碼。

2. 關聯共享內存

shmget()函數返回的是一個標識符，而不是可用的內存地址，所以還需要調用shmat()函數把共享內存關聯到某個虛擬內存地址上。shmat()函數的原型如下：

void*shmat(intshmid,constvoid*shmaddr,intshmflg);

• 參數shmid是shmget()函數返回的標識符。
• 參數shmaddr是要關聯的虛擬內存地址，如果傳入0，表示由系統自動選擇合適的虛擬內存地址。
• 參數shmflg若指定了SHM_RDONLY位，則以只讀方式連接此段，否則以讀寫方式連接此段。

函數調用成功返回一個可用的指針（虛擬內存地址），出錯返回-1。

3. 取消關聯共享內存

當一個進程不需要共享內存的時候，就需要取消共享內存與虛擬內存地址的關聯。取消關聯共享內存通過shmdt()函數實現，原型如下：

intshmdt(constvoid*shmaddr);

• 參數shmaddr是要取消關聯的虛擬內存地址，也就是shmat()函數返回的值。

函數調用成功返回0，出錯返回-1。

共享內存使用例子

下面通過一個例子來介紹一下共享內存的使用方法。在這個例子中，有兩個進程，分別為進程A和進程B，進程A創建一塊共享內存，然后寫入數據，進程B獲取這塊共享內存并且讀取其內容。

進程A

#include
#include
#include
#include
#include

#defineSHM_PATH"/tmp/shm"
#defineSHM_SIZE128

intmain(intargc,char*argv[])
{
intshmid;
char*addr;
key_tkey=ftok(SHM_PATH,0x6666);

shmid=shmget(key,SHM_SIZE,IPC_CREAT|IPC_EXCL|0666);
if(shmid0){
printf("failedtocreatesharememory
");
return-1;
}

addr=shmat(shmid,NULL,0);
if(addr<=?0){
printf("failedtomapsharememory
");
return-1;
}

sprintf(addr,"%s","HelloWorld
");

return0;
}

進程B

#include
#include
#include
#include
#include
#include

#defineSHM_PATH"/tmp/shm"
#defineSHM_SIZE128

intmain(intargc,char*argv[])
{
intshmid;
char*addr;
key_tkey=ftok(SHM_PATH,0x6666);

charbuf[128];

shmid=shmget(key,SHM_SIZE,IPC_CREAT);
if(shmid0){
printf("failedtogetsharememory
");
return-1;
}

addr=shmat(shmid,NULL,0);
if(addr<=?0){
printf("failedtomapsharememory
");
return-1;
}

strcpy(buf,addr,128);
printf("%s",buf);

return0;
}

測試時先運行進程A，然后再運行進程B，可以看到進程B會打印出 “Hello World”，說明共享內存已經創建成功并且讀取。

共享內存實現原理

我們先通過一幅圖來了解一下共享內存的大概原理，如下圖：

通過上圖可知，共享內存是通過將不同進程的虛擬內存地址映射到相同的物理內存地址來實現的，下面將會介紹Linux的實現方式。

在Linux內核中，每個共享內存都由一個名為struct shmid_kernel的結構體來管理，而且Linux限制了系統最大能創建的共享內存為128個。通過類型為struct shmid_kernel結構的數組來管理，如下：

structshmid_ds{
structipc_permshm_perm;/*operationperms*/
intshm_segsz;/*sizeofsegment(bytes)*/
__kernel_time_tshm_atime;/*lastattachtime*/
__kernel_time_tshm_dtime;/*lastdetachtime*/
__kernel_time_tshm_ctime;/*lastchangetime*/
__kernel_ipc_pid_tshm_cpid;/*pidofcreator*/
__kernel_ipc_pid_tshm_lpid;/*pidoflastoperator*/
unsignedshortshm_nattch;/*no.ofcurrentattaches*/
unsignedshortshm_unused;/*compatibility*/
void*shm_unused2;/*ditto-usedbyDIPC*/
void*shm_unused3;/*unused*/
};

structshmid_kernel
{
structshmid_dsu;
/*thefollowingareprivate*/
unsignedlongshm_npages;/*sizeofsegment(pages)*/
pte_t*shm_pages;/*arrayofptrstoframes->SHMMAX*/
structvm_area_struct*attaches;/*descriptorsforattaches*/
};

staticstructshmid_kernel*shm_segs[SHMMNI];//SHMMNI等于128

從注釋可以知道struct shmid_kernel結構體各個字段的作用，比如shm_npages字段表示共享內存使用了多少個內存頁。而shm_pages字段指向了共享內存映射的虛擬內存頁表項數組等。

另外struct shmid_ds結構體用于管理共享內存的信息，而shm_segs數組用于管理系統中所有的共享內存。

shmget() 函數實現

通過前面的例子可知，要使用共享內存，首先需要調用shmget()函數來創建或者獲取一塊共享內存。shmget()函數的實現如下：

asmlinkagelongsys_shmget(key_tkey,intsize,intshmflg)
{
structshmid_kernel*shp;
interr,id=0;

down(¤t->mm->mmap_sem);
spin_lock(&shm_lock);
if(size0||size>shmmax){
err=-EINVAL;
}elseif(key==IPC_PRIVATE){
err=newseg(key,shmflg,size);
}elseif((id=findkey(key))==-1){
if(!(shmflg&IPC_CREAT))
err=-ENOENT;
else
err=newseg(key,shmflg,size);
}elseif((shmflg&IPC_CREAT)&&(shmflg&IPC_EXCL)){
err=-EEXIST;
}else{
shp=shm_segs[id];
if(shp->u.shm_perm.mode&SHM_DEST)
err=-EIDRM;
elseif(size>shp->u.shm_segsz)
err=-EINVAL;
elseif(ipcperms(&shp->u.shm_perm,shmflg))
err=-EACCES;
else
err=(int)shp->u.shm_perm.seq*SHMMNI+id;
}
spin_unlock(&shm_lock);
up(¤t->mm->mmap_sem);
returnerr;
}

shmget()函數的實現比較簡單，首先調用findkey()函數查找值為key的共享內存是否已經被創建，findkey()函數返回共享內存在shm_segs數組的索引。如果找到，那么直接返回共享內存的標識符即可。否則就調用newseg()函數創建新的共享內存。newseg()函數的實現也比較簡單，就是創建一個新的struct shmid_kernel結構體，然后設置其各個字段的值，并且保存到shm_segs數組中。

shmat() 函數實現

shmat()函數用于將共享內存映射到本地虛擬內存地址，由于shmat()函數的實現比較復雜，所以我們分段來分析這個函數：

asmlinkagelongsys_shmat(intshmid,char*shmaddr,intshmflg,ulong*raddr)
{
structshmid_kernel*shp;
structvm_area_struct*shmd;
interr=-EINVAL;
unsignedintid;
unsignedlongaddr;
unsignedlonglen;

down(¤t->mm->mmap_sem);
spin_lock(&shm_lock);
if(shmid0)
gotoout;

shp=shm_segs[id=(unsignedint)shmid%SHMMNI];
if(shp==IPC_UNUSED||shp==IPC_NOID)
gotoout;

上面這段代碼主要通過shmid標識符來找到共享內存描述符，上面說過系統中所有的共享內存到保存在shm_segs數組中。

if(!(addr=(ulong)shmaddr)){
if(shmflg&SHM_REMAP)
gotoout;
err=-ENOMEM;
addr=0;
again:
if(!(addr=get_unmapped_area(addr,shp->u.shm_segsz)))//獲取一個空閑的虛擬內存空間
gotoout;
if(addr&(SHMLBA-1)){
addr=(addr+(SHMLBA-1))&~(SHMLBA-1);
gotoagain;
}
}elseif(addr&(SHMLBA-1)){
if(shmflg&SHM_RND)
addr&=~(SHMLBA-1);/*rounddown*/
else
gotoout;
}

上面的代碼主要找到一個可用的虛擬內存地址，如果在調用shmat()函數時沒有指定了虛擬內存地址，那么就通過get_unmapped_area()函數來獲取一個可用的虛擬內存地址。

spin_unlock(&shm_lock);
err=-ENOMEM;
shmd=kmem_cache_alloc(vm_area_cachep,SLAB_KERNEL);
spin_lock(&shm_lock);
if(!shmd)
gotoout;
if((shp!=shm_segs[id])||(shp->u.shm_perm.seq!=(unsignedint)shmid/SHMMNI)){
kmem_cache_free(vm_area_cachep,shmd);
err=-EIDRM;
gotoout;
}

上面的代碼主要通過調用kmem_cache_alloc()函數創建一個vm_area_struct結構，在內存管理一章知道，vm_area_struct結構用于管理進程的虛擬內存空間。

shmd->vm_private_data=shm_segs+id;
shmd->vm_start=addr;
shmd->vm_end=addr+shp->shm_npages*PAGE_SIZE;
shmd->vm_mm=current->mm;
shmd->vm_page_prot=(shmflg&SHM_RDONLY)?PAGE_READONLY:PAGE_SHARED;
shmd->vm_flags=VM_SHM|VM_MAYSHARE|VM_SHARED
|VM_MAYREAD|VM_MAYEXEC|VM_READ|VM_EXEC
|((shmflg&SHM_RDONLY)?0:VM_MAYWRITE|VM_WRITE);
shmd->vm_file=NULL;
shmd->vm_offset=0;
shmd->vm_ops=&shm_vm_ops;

shp->u.shm_nattch++;/*preventdestruction*/
spin_unlock(&shm_lock);
err=shm_map(shmd);
spin_lock(&shm_lock);
if(err)
gotofailed_shm_map;

insert_attach(shp,shmd);/*insertshmdintoshp->attaches*/

shp->u.shm_lpid=current->pid;
shp->u.shm_atime=CURRENT_TIME;

*raddr=addr;
err=0;
out:
spin_unlock(&shm_lock);
up(¤t->mm->mmap_sem);
returnerr;
...
}

上面的代碼主要是設置剛創建的vm_area_struct結構的各個字段，比較重要的是設置其vm_ops字段為shm_vm_ops，shm_vm_ops定義如下：

staticstructvm_operations_structshm_vm_ops={
shm_open,/*open-callbackforanewvm-areaopen*/
shm_close,/*close-callbackforwhenthevm-areaisreleased*/
NULL,/*noneedtosyncpagesatunmap*/
NULL,/*protect*/
NULL,/*sync*/
NULL,/*advise*/
shm_nopage,/*nopage*/
NULL,/*wppage*/
shm_swapout/*swapout*/
};

shm_vm_ops的nopage回調為shm_nopage()函數，也就是說，當發生頁缺失異常時將會調用此函數來恢復內存的映射。

從上面的代碼可看出，shmat()函數只是申請了進程的虛擬內存空間，而共享內存的物理空間并沒有申請，那么在什么時候申請物理內存呢？答案就是當進程發生缺頁異常的時候會調用shm_nopage()函數來恢復進程的虛擬內存地址到物理內存地址的映射。

shm_nopage() 函數實現

shm_nopage() 函數是當發生內存缺頁異常時被調用的，代碼如下：

staticstructpage*shm_nopage(structvm_area_struct*shmd,unsignedlongaddress,intno_share)
{
pte_tpte;
structshmid_kernel*shp;
unsignedintidx;
structpage*page;

shp=*(structshmid_kernel**)shmd->vm_private_data;
idx=(address-shmd->vm_start+shmd->vm_offset)>>PAGE_SHIFT;

spin_lock(&shm_lock);
again:
pte=shp->shm_pages[idx];//共享內存的頁表項
if(!pte_present(pte)){//如果內存頁不存在
if(pte_none(pte)){
spin_unlock(&shm_lock);
page=get_free_highpage(GFP_HIGHUSER);//申請一個新的物理內存頁
if(!page)
gotooom;
clear_highpage(page);
spin_lock(&shm_lock);
if(pte_val(pte)!=pte_val(shp->shm_pages[idx]))
gotochanged;
}else{
...
}
shm_rss++;
pte=pte_mkdirty(mk_pte(page,PAGE_SHARED));//創建頁表項
shp->shm_pages[idx]=pte;//保存共享內存的頁表項
}else
--current->maj_flt;/*wasincrementedindo_no_page*/

done:
get_page(pte_page(pte));
spin_unlock(&shm_lock);
current->min_flt++;
returnpte_page(pte);
...
}

shm_nopage() 函數的主要功能是當發生內存缺頁時，申請新的物理內存頁，并映射到共享內存中。由于使用共享內存時會映射到相同的物理內存頁上，從而不同進程可以共用此塊內存。