文章詳細介紹了csv文件在php中快速導入到mysql數據庫中的例子,雖然從最簡單的幾百MB的到最后使用插件實現幾個GB數據導入中間有一些嗑碰了,但結果還是好的.

對于數百萬條數據量的CSV文件,文件大小可能達到數百M,如果簡單讀取的話很可能出現超時或者卡死的現象.

為了成功將CSV文件里的數據導入數據庫,分批處理是非常必要的,下面這個函數是讀取CSV文件中指定的某幾行數據,代碼如下:

1. /** 
2.  * csv_get_lines 讀取CSV文件中的某幾行數據 
3.  * @param $csvfile csv文件路徑 
4.  * @param $lines 讀取行數 
5.  * @param $offset 起始行數 
6.  * @return array 
7.  * */ 
8. function csv_get_lines($csvfile, $lines, $offset = 0) { 
9.     if(!$fp = fopen($csvfile, 'r')) { 
10.     //開源代碼Vevb.com 
11.      return false; 
12.     } 
13.     $i = $j = 0; 
14.  while (false !== ($line = fgets($fp))) { 
15.   if($i++ < $offset) { 
16.    continue;  
17.   } 
18.   break; 
19.  } 
20.  $data = array(); 
21.  while(($j++ < $lines) && !feof($fp)) { 
22.   $data[] = fgetcsv($fp); 
23.  } 
24.  fclose($fp); 
25.     return $data; 
26. } 
27.  
28. //調用方法： 
29.  
30. $data = csv_get_lines('path/bigfile.csv', 10, 2000000); 
31.  
32. print_r($data); 

函數主要采用行定位的思路,通過跳過起始行數來實現文件指針定位,至于數據如何入庫本文不再詳細講述.

上述函數對500M以內的文件進行過測試,運行通暢,對于1GB的文件發現有點慢了,于是再接著找方法.

如何快速完整的操作大文件仍然還存在一些問題.

1、如何快速獲取CSV大文件的總行數？

辦法一:直接獲取文件內容，使用換行符進行拆分得出總行數，這種辦法對小文件可行，處理大文件時不可行；

辦法二:使用fgets一行一行遍歷，得出總行數，這種辦法比辦法一好一些，但大文件仍有超時的可能；

辦法三:借助SplFileObject類，直接將指針定位到文件末尾，通過SplFileObject::key方法獲取總行數，這種辦法可行，且高效。

具體實現方法,代碼如下:

1. $csv_file = 'path/bigfile.csv'; 
2. $spl_object = new SplFileObject($csv_file, 'rb'); 
3. $spl_object->seek(filesize($csv_file)); 
4. echo $spl_object->key(); 

2、如何快速獲取CSV大文件的數據？

仍然使用PHP的SplFileObject類,通過seek方法實現快速定位,代碼如下:

1. $csv_file = 'path/bigfile.csv'; 
2. $start = 100000;  // 從第100000行開始 m.survivalescaperooms.com讀取 
3. $num = 100;    // 讀取100行 
4. $data = array(); 
5. $spl_object = new SplFileObject($csv_file, 'rb'); 
6. $spl_object->seek($start); 
7. while ($num-- && !$spl_object->eof()) { 
8.  $data[] = $spl_object->fgetcsv(); 
9.  $spl_object->next(); 
10. } 
11. print_r($data); 

綜合上面兩點,整理成一個csv文件讀取的類,代碼如下:

1. class CsvReader { 
2.  private $csv_file; 
3.  private $spl_object = null; 
4.  private $error; 
5.  
6.  public function __construct($csv_file = '') { 
7.   if($csv_file && file_exists($csv_file)) { 
8.    $this->csv_file = $csv_file; 
9.   } 
10.  } 
11.  
12.  public function set_csv_file($csv_file) { 
13.   if(!$csv_file || !file_exists($csv_file)) { 
14.    $this->error = 'File invalid'; 
15.    return false; 
16.   } 
17.   $this->csv_file = $csv_file; 
18.   $this->spl_object = null; 
19.  } 
20.  
21.  public function get_csv_file() { 
22.   return $this->csv_file; 
23.  } 
24.  
25.  private function _file_valid($file = '') { 
26.   $file = $file ? $file : $this->csv_file; 
27.   if(!$file || !file_exists($file)) { 
28.    return false; 
29.   } 
30.   if(!is_readable($file)) { 
31.    return false; 
32.   } 
33.   return true; 
34.  } 
35.  
36.  private function _open_file() { 
37.   if(!$this->_file_valid()) { 
38.    $this->error = 'File invalid'; 
39.    return false; 
40.   } 
41.   if($this->spl_object == null) { 
42.    $this->spl_object = new SplFileObject($this->csv_file, 'rb'); 
43.   } 
44.   return true; 
45.  } 
46.  
47.  public function get_data($length = 0, $start = 0) { 
48.   if(!$this->_open_file()) { 
49.    return false; 
50.   } 
51.   $length = $length ? $length : $this->get_lines(); 
52.   $start = $start - 1; 
53.   $start = ($start < 0) ? 0 : $start; 
54.   $data = array(); 
55.   $this->spl_object->seek($start); 
56.   while ($length-- && !$this->spl_object->eof()) { 
57.    $data[] = $this->spl_object->fgetcsv(); 
58.    $this->spl_object->next(); 
59.   } 
60.   return $data; 
61.  } 
62.  
63.  public function get_lines() { 
64.   if(!$this->_open_file()) { 
65.    return false; 
66.   } 
67.   $this->spl_object->seek(filesize($this->csv_file)); 
68.   return $this->spl_object->key(); 
69.  } 
70.  
71.  public function get_error() { 
72.   return $this->error; 
73.  } 
74. } 

調用方法如下:

1. include('CsvReader.class.php'); 
2.  
3. $csv_file = 'path/bigfile.csv'; 
4.  
5. $csvreader = new CsvReader($csv_file); 
6.  
7. $line_number = $csvreader->get_lines(); 
8.  
9. $data = $csvreader->get_data(10); 
10.  
11. echo $line_number, chr(10); 
12.  
13. print_r($data); 

其實,上述CsvReader類并不只針對CSV大文件,對于其他文本類型的大文件或超大文件同樣可用,前提是將類中fgetcsv方法稍加改動為current即可.