国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Delphi > 正文

Delphi 中內存映射對于大文件的使用

2020-01-31 20:50:18
字體:
來源:轉載
供稿:網友

Delphi 中內存映射對于大文件的使用

平時很少使用大文件的內存映射,碰巧遇到了這樣的要求,所以把過程記錄下來,當給各位一個引子吧,因為應用不算復雜,可能有考慮不到的地方,歡迎交流。

對于一些小文件,用普通的文件流就可以很好的解決,可是對于超大文件,比如2G或者更多,文件流就不行了,所以要使用API的內存映射的相關方法,即使是內存映射,也不能一次映射全部文件的大小,所以必須采取分塊映射,每次處理一小部分。

 先來看幾個函數

CreateFile :打開文件

GetFileSize : 獲取文件尺寸

CreateFileMapping :創建映射

MapViewOfFile :映射文件

看MapViewOfFile的幫助,他的最后兩個參數都需要是頁面粒度的整數倍,一般機器的頁面粒度為64k(65536字節),而我們實際操作中,一般都不是這樣規矩的,任意位置,任意長度都是可能的,所以就要做一些處理。

本例的任務是從一個長度列表中(FInfoList),依次讀取長度值,然后到另外一個大文件(FSourceFileName)中去順序讀取指定長度的數據,如果是小文件,這個就好辦了,一次讀到文件流中,然后依次讀取就是了,大數對于大文件,就需要不斷改變映射的位置,來取得我們想要的數據。

本例中顯示先通過GetSystemInfo來獲取頁面粒度,然后以10倍的頁面粒度為一個映射數據塊,在for循環中,會判斷已經讀取的長度(totallen)加上即將讀取的長度,是否在本次映射范圍之內(10倍的頁面粒度),如果在就繼續讀取,如果超出了,就要記下剩下的數據,然后重新映射下一塊內存,并將記錄下的剩余數據合并到新讀取的數據中,有點繞啊(可能是我的想法太繞了),

下面列出代碼。

procedure TGetDataThread.DoGetData; var  FFile_Handle:THandle;  FFile_Map:THandle;  list:TStringList;  p:PChar;  i,interval:Integer; begin  try  totallen := 0;  offset := 0;  tstream := TMemoryStream.Create;  stream := TMemoryStream.Create;  list := TStringList.Create;  //獲取系統信息  GetSystemInfo(sysinfo);  //頁面分配粒度大小  blocksize := sysinfo.dwAllocationGranularity;  //打開文件  FFile_Handle := CreateFile(PChar(FSourceFileName),GENERIC_READ,FILE_SHARE_READ,nil,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,0);  if FFile_Handle = INVALID_HANDLE_VALUE then Exit;  //獲取文件尺寸  filesize := GetFileSize(FFile_Handle,nil);  //創建映射  FFile_Map := CreateFileMapping(FFile_Handle,nil,PAGE_READONLY,0,0,nil);  if FFile_Map = 0 then Exit;  //此處我們已10倍blocksize為一個數據塊來映射,如果文件尺寸小于10倍blocksize,則直接映射整個文件長度  if filesize div blocksize > 10 then   readlen := 10*blocksize  else   readlen := filesize;  for i := 0 to FInfoList.Count - 1 do  begin   list.Delimiter := ':';   list.DelimitedText := FInfoList.Strings[i];   //取得長度,我這里做了解析,因為我存儲的信息為 a:b:c 這種類型,所以以:號分隔   len := StrToInt(list.Strings[1]);   interval := StrToInt(list.Strings[2]);   if (i = 0) or (totallen+len >=readlen) then   begin    //如果已讀取的長度加上即將要讀取的長度大于 10倍blocksize,那么我們要保留之前映射末尾的內容,以便和新映射的內容合并    if i > 0 then    begin     offset := offset + readlen;     //寫入臨時流     tstream.Write(p^,readlen-totallen);     tstream.Position := 0;    end;    //如果未讀取的數據長度已經不夠一個分配粒度,那么就直接映射剩下的長度    if filesize-offset < blocksize then     readlen := filesize-offset;    //映射,p是指向映射區域的指針    //注意這里第三個參數,一直設為0,這個值要根據實際情況設置    p := PChar(MapViewOfFile(FFile_Map,FILE_MAP_READ,0,offset,readlen));   end;   //如果臨時流中有數據,需要合并   if tstream.Size > 0 then   begin    //把臨時流數據copy過來    stream.CopyFrom(tstream,tstream.Size);    //然后在末尾寫入新數據,合并完成    stream.Write(p^,len-tstream.Size);    totallen := len-tstream.Size;    //移動指針的位置,指向下一個數據的開始    Inc(p,len-tstream.Size);    tstream.Clear;   end   else   begin    stream.Write(p^,len);    totallen := totallen + len;    Inc(p,len);   end;   stream.Position := 0;   //將流保存成文件   stream.SaveToFile(IntToStr(i)+'.txt');   stream.Clear;  end;  finally   stream.Free;   tstream.Free;   CloseHandle(FFile_Handle);   CloseHandle(FFile_Map);  end; end; 

如有疑問請留言或者到本站社區交流討論,感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

主站蜘蛛池模板: 独山县| 阳春市| 永仁县| 华亭县| 丹江口市| 弥渡县| 常州市| 南阳市| 西丰县| 刚察县| 天祝| 江山市| 静安区| 京山县| 张掖市| 鄯善县| 石阡县| 琼海市| 仪陇县| 资兴市| 沂水县| 杨浦区| 蓬安县| 南皮县| 磐石市| 揭阳市| 东光县| 公安县| 三穗县| 宁夏| 永新县| 通山县| 青龙| 同德县| 武山县| 新津县| 营口市| 新密市| 磴口县| 灵川县| 梓潼县|