国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > MySQL > 正文

mysql大數據分庫和分表 php解決方案

2024-07-24 12:39:44
字體:
來源:轉載
供稿:網友

當Mysql數據量過大時,就會面臨壓力分解,這時分庫分表是一個不錯的解決方案,現在我們就來談談Mysql如何分庫分表比較理想,然后再用php如何調用.

1,主從復制,讀寫分離

對主庫修改數據,查詢使用從庫,一主多從,來降低數據庫讀取壓力.

2,分庫分表

根據實體業務來分庫,分表,如,根據數據的活躍性,根據用戶uid等.

3,mysql 不同存儲引擎區別

InnoDB 用于數據完整性/寫性能要求比較高的應用. MyISAM 適合查詢應用.

分表是分散數據庫壓力的好方法.

分表,最直白的意思,就是將一個表結構分為多個表,然后,可以再同一個庫里,也可以放到不同的庫.

當然,首先要知道什么情況下,才需要分表,個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了.

1,分表的分類

1>縱向分表

將本來可以在同一個表的內容,人為劃分為多個表,所謂的本來,是指按照關系型數據庫的第三范式要求,是應該在同一個表的.

分表理由:根據數據的活躍度進行分離,因為不同活躍的數據,處理方式是不同的.

案例:對于一個博客系統,文章標題,作者,分類,創建時間等,是變化頻率慢,查詢次數多,而且最好有很好的實時性的數據,我們把它叫做冷數據。而博客的瀏覽量,回復數等,類似的統計信息,或者別的變化頻率比較高的數據,我們把它叫做活躍數據。所以,在進行數據庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。

這樣縱向分表后:

首先存儲引擎的使用不同,冷數據使用MyIsam 可以有更好的查詢數據?;钴S數據,可以使用Innodb ,可以有更好的更新速度。

其次,對冷數據進行更多的從庫配置,因為更多的操作時查詢,這樣來加快查詢速度。對熱數據,可以相對有更多的主庫的橫向分表處理。

其實,對于一些特殊的活躍數據,也可以考慮使用memcache ,redis

之類的緩存,等累計到一定量再去更新數據庫?;蛘適ongodb 一類的nosql 數據庫,這里只是舉例,就先不說這個。

2>橫向分表

字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,用戶信息表,user_1,user_2 等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據用戶ID來取模劃分。

分表理由:根據數據量的規模來劃分,保證單表的容量不會太大,從而來保證單表的查詢等處理能力。

案例:同上面的例子,博客系統。當博客的量達到很大時候,就應該采取橫向分割來降低每個單表的壓力,來提升性能。例如博客的冷數據表,假如分為100個表,當同時有100萬個用戶在瀏覽時,如果是單表的話,會進行100萬次請求,而現在分表后,就可能是每個表進行1萬個數據的請求(因為,不可能絕對的平均,只是假設),這樣壓力就降低了很多很多。

1,背景:一個地址薄的應用程序,設計的用戶量為2億,統計出每個用戶的地址薄為30個左右,整個數據量為60億,使用mysql數據庫(億級數據庫設計)

計劃分為:1000個表,100個庫

2,分庫分表代碼

  1. private function getDbNo($email
  2.     $m = md5($email); 
  3.     $n = hexdec(substr($m, 0, 16)); 
  4.     $tableNo = fmod($n, 1000); 
  5.     $dbNo = $tableNo % 100; 
  6.     return array($dbNo$tableNo); 

3,配合的連接訪問代碼

  1. require_once ‘Db/Config.php’; 
  2.  
  3. class Db_Adapter 
  4.     const MASTER    = 0; 
  5.     const SLAVE     = 1; 
  6.  
  7.     private static $instances = array(); 
  8.  
  9.     private $conf = array(); 
  10.  
  11.     private $conns = array(); 
  12.  
  13.     private $conn = NULL; 
  14.     private $stmt = NULL; 
  15.     public function __construct($conf
  16.     { 
  17.         $this->conf = $conf
  18.     } 
  19.  
  20.     public function execute($sql$params
  21.     { 
  22.         $cmd = substr(strtolower(trim($sql)), 0, 6); 
  23.         if ($cmd == ‘select’) { 
  24.             $conn = $this->getConn(self::SLAVE); 
  25.         } else { 
  26.             $conn = $this->getConn(self::MASTER); 
  27.         } 
  28.  
  29.         $conn->prepare($sql); 
  30.         $stmt = $conn->execute($params); 
  31.  
  32.         $this->conn = $conn
  33.         $this->stmt = $stmt
  34.     } 
  35.  
  36.     public function fetch() 
  37.     { 
  38.         return $this->stmt->fetch(); 
  39.     } 
  40.  
  41.     public function fetchAll() 
  42.     { 
  43.         return $this->stmt->fetchAll(); 
  44.     } 
  45.  
  46.     public function lastInsertId($name = NULL) 
  47.     { 
  48.         return $this->conn->lastInsertId($name); 
  49.     } 
  50.  
  51.     public function rowCount() 
  52.     { 
  53.         return $this->stmt->rowCount(); 
  54.     } 
  55.  
  56.     private function getConn($type
  57.     { 
  58.         if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) { 
  59.             $id = 0; 
  60.         } else { 
  61.             $id = 1; 
  62.         } 
  63.  
  64.         if (!isset($this->conns[$id])) { 
  65.             $conf = $this->conf[$id]; 
  66.             $this->conns[$id] = new PDO( 
  67.                 $conf['dsn'], $conf['user'], $conf['pass'], 
  68.                 self::dbOptions); 
  69.         } 
  70.  
  71.         return $this->conns[$id]; 
  72.     } //Vevb.com 
  73.  
  74.     public static function getInstance($dbName$dbNo = 0) 
  75.     { 
  76.         $key = $dbName . ‘_’ . $dbNo
  77.         if (!isset(self::$instances[$key])) { 
  78.             $conf = Db_Config::getConfig($dbName$dbNo); //連接配置參數 
  79.             self::$instances[$key] = new self($conf); 
  80.         } 
  81.  
  82.         return self::$instances[$key]; 
  83.     } 

4,潛在問題

如果某個表中的那些用戶的地址薄聯系人超多,如每個人1000個,則可能出現該表超大,需要把該表區分為子表,暫時沒有配置中心來處理該情況.

若真的出現該情況,在連接參數這個地方繼續作一次hash.

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 永胜县| 故城县| 绥芬河市| 汉川市| 新密市| 达拉特旗| 衡阳市| 开平市| 泰州市| 皋兰县| 呼伦贝尔市| 云霄县| 潢川县| 汶上县| 海盐县| 高雄市| 汝城县| 蒙山县| 吕梁市| 延津县| 玛曲县| 新巴尔虎左旗| 鄂伦春自治旗| 丹凤县| 同心县| 芒康县| 中西区| 原平市| 磴口县| 特克斯县| 临沭县| 通榆县| 铁力市| 康定县| 乡城县| 扎赉特旗| 鞍山市| 奉新县| 吐鲁番市| 浙江省| 苏尼特左旗|