国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數(shù)據(jù)庫 > MySQL > 正文

數(shù)據(jù)庫中間件MyCat的介紹

2024-07-25 19:09:31
字體:
來源:轉載
供稿:網(wǎng)友

1、Mycat 應用場景

Mycat 發(fā)展到現(xiàn)在,適用的場景已經(jīng)很豐富,而且不斷有新用戶給出新的創(chuàng)新性的方案,以下是幾個典型的應用場景:

  • 1. 單純的讀寫分離,此時配置最為簡單,支持讀寫分離,主從切換
  • 2. 分表分庫,對于超過 1000 萬的表進行分片,最大支持 1000 億的單表分片
  • 3. 多租戶應用,每個應用一個庫,但應用程序只連接 Mycat,從而不改造程序本身,實現(xiàn)多租戶化
  • 4. 報表系統(tǒng),借助于 Mycat 的分表能力,處理大規(guī)模報表的統(tǒng)計
  • 5. 替代 Hbase,分析大數(shù)據(jù)
  • 6. 作為海量數(shù)據(jù)實時查詢的一種簡單有效方案,比如 100 億條頻繁查詢的記錄需要在 3 秒內(nèi)查詢出來結果,除了基于主鍵的查詢,還可能存在范圍查詢或其他屬性查詢,此時 Mycat 可能是最簡單有效的選擇。

MYCAT可以實現(xiàn)讀寫分離下的讀操作負,mycat載均衡,將大量的讀操作均衡到不同的從庫上,主要出現(xiàn)在一主多從情形下。

MYCAT可實現(xiàn)數(shù)據(jù)庫的高可用,在數(shù)據(jù)庫主節(jié)點可用的情況下,配置一臺可寫從節(jié)點,這兩個節(jié)點都配置在MYCAT中,當主節(jié)點宕機時,MyCAT會自動將寫操作路由到備用節(jié)點上,但并不支持在切換之后的繼續(xù)主從同步。

當讀寫分離已經(jīng)不能滿足持續(xù)增加的訪問量時,MYCAT可實現(xiàn)數(shù)據(jù)庫的垂直拆分,將所有的數(shù)據(jù)庫表按照模塊劃分,不同類型的表拆分到不同的數(shù)據(jù)庫服務器。

隨著業(yè)務量的增長,垂直拆分之后如果又出現(xiàn)了數(shù)據(jù)庫性能問題,則需要進行水平切分,這就是俗稱的分庫分表。將數(shù)據(jù)量很大的表數(shù)據(jù)切分到不同的服務器庫中,表結構是一樣的,而使用MYCAT實現(xiàn)水平切分,對前端應用是完全透明的,不用調整前臺邏輯。

從定義和分類來看,它是一個開源的分布式數(shù)據(jù)庫系統(tǒng),是一個實現(xiàn)了MySQL協(xié)議的服務器,前端用戶可以把它看作是一個數(shù)據(jù)庫代理,用MySQL客戶端工具和命令行訪問,而其后端可以用MySQL原生協(xié)議與多個MySQL服務器通信,也可以用JDBC協(xié)議與大多數(shù)主流數(shù)據(jù)庫服務器通信,其核心功能是分表分庫,即將一個大表水平分割為N個小表,存儲在后端MySQL服務器里或者其他數(shù)據(jù)庫里。

MyCat發(fā)展到目前的版本,已經(jīng)不是一個單純的MySQL代理了,它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流數(shù)據(jù)庫,也支持MongoDB這種新型NoSQL方式的存儲,未來還會支持更多類型的存儲。而在最終用戶看來,無論是那種存儲方式,在MyCat里,都是一個傳統(tǒng)的數(shù)據(jù)庫表,支持標準的SQL語句進行數(shù)據(jù)的操作,這樣一來,對前端業(yè)務系統(tǒng)來說,可以大幅降低開發(fā)難度,提升開發(fā)速度

2.傳統(tǒng)關系型數(shù)據(jù)庫局限性

傳統(tǒng)關系型數(shù)據(jù)庫由于缺乏擴展性在面對大數(shù)據(jù)時存在巨大的缺陷,但是關系模型、事務機制對于大部分系統(tǒng)又不必不可少,目前業(yè)界主流的做法就是將傳統(tǒng)數(shù)據(jù)庫進行切分(包括垂直切分、水平切分等),提高數(shù)據(jù)庫的可擴展性。但是切分之后又帶來了新的問題,比如多數(shù)據(jù)源管理問題、跨節(jié)點join問題、分布式事務問題等。下面探討Mycat如何解決這些問題。

多數(shù)據(jù)源管理問題

針對多數(shù)據(jù)源管理問題,主要有兩種解決思路,第一:客戶端模式,在每個應用程序模塊中配置管理自己需要的一個(或者多個)數(shù)據(jù)源,直接訪問各個數(shù)據(jù)庫,在模塊內(nèi)完成數(shù)據(jù)的整合。第二:通過中間代理層來統(tǒng)一管理所有的數(shù)據(jù)源,后端數(shù)據(jù)庫集群對前端應用程序透明。第一種方式不具備通用性,每個應用程序都需要自行開發(fā)數(shù)據(jù)整合功能,且對于已經(jīng)建設完成的系統(tǒng)需要進行代碼重構,不適宜推廣。目前主要使用的是第二種方式,Mycat 的原理如下: Mycat 的原理中最重要的一個動詞是“攔截”,它攔截了用戶發(fā)送過來的SQL語句,首先對SQL語句做了一些特定的分析:如分片分析、路由分析、讀寫分離分析、緩存分等,然后將此SQL發(fā)往后端的真實數(shù)據(jù)庫,并將返回的結果做適當?shù)奶幚恚罱K再返回給用戶。

數(shù)據(jù)庫,中間件,MyCat

Mycat的原理與其他分布式數(shù)據(jù)庫中間件很類似,但是在架構上還是有區(qū)別,Mycat來源于Cobar,但在其基礎上進行了很大改進,Mycat的架構如下:

數(shù)據(jù)庫,中間件,MyCat

目前主流的分布式數(shù)據(jù)庫中間件還有TDDL、 Amoeba、 Coba等,TDDL不同于其它幾款產(chǎn)品,并非獨立的中間件,只能算作中間層,是以Jar包方式提供給應用調用。屬于JDBC Shard 的思想,網(wǎng)上也有很多其它類似產(chǎn)品。Amoeba是作為一個真正的獨立中間件提供服務,即應用去連接Amoeba操作MySQL集群,就像操作單MySQL一樣,從架構中可以看來,Amoeba算中間件中的早期產(chǎn)品,后端還在使用JDBC Driver. Cobar 是Amoeba基礎上進化的版本,一個顯著變化是把后端JDBC Driver改為原生的MySQL通信協(xié)議層,這就意味著不能支持Oracle、ProstgreSQL 等主流數(shù)據(jù)庫。MyCat 又是在Cobar基礎上發(fā)展的版本,后端由BI0改為NIO,并發(fā)量有大幅提高,增加了對Order By、GroupBy、limit 等聚合功能的支持,支持目前主流的大部分數(shù)據(jù)庫。

跨節(jié)點join問題

Mycat支持inner join、leaf/right join、cross join、 Full join等方式跨節(jié)點join,主要是通過全局表,ER分片,Share Join 和catlet(人工智能)四種方式實現(xiàn):

1、全局表

一個真實的業(yè)務系統(tǒng)中,往往存在大量的類似字典表的表格,它們與業(yè)務表之間可能有關系,這種關系,可以理解為“標簽”,而不應理解為通常的“主從關系”,這些表基本上很少變動,可以根據(jù)主鍵ID進行緩存,下面這張圖說明了一個典型的“標簽關系”圖:

數(shù)據(jù)庫,中間件,MyCat

在分片的情況下,當業(yè)務表因為規(guī)模而進行分片以后,業(yè)務表與這些附屬的字典表之間的關聯(lián),就成了比較棘手的問題,考慮到字典表具有以下幾個特性:

  • 1.變動不頻繁
  • 2.數(shù)據(jù)量總體變化不大
  • 3.數(shù)據(jù)規(guī)模不大,很少有超過數(shù)十萬條記錄。

鑒于此,MyCAT定義了一種特殊的表,稱之為“全局表”,全局表具有以下特性:

  • 1.全局表的插入、更新操作會實時在所有節(jié)點上執(zhí)行,保持各個分片的數(shù)據(jù)一致性
  • 2.全局表的查詢操作,只從一個節(jié)點獲取
  • 3.全局表可以跟任何一個表進行J0IN操作

將字典表或者符合字典表特性的一些表定義為全局表,則從另外一個方面,很好的解決了數(shù)據(jù)J0IN的難題。通過全局表+基于ER關系的分片策略,MyCAT可以滿足80%以上的企業(yè)應用開發(fā)。

全局表配置方式如下(全局表會存儲于所以節(jié)點) :

數(shù)據(jù)庫,中間件,MyCat

總結

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對VeVb武林網(wǎng)的支持。


注:相關教程知識閱讀請移步到MYSQL教程頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 筠连县| 丹江口市| 栾城县| 漾濞| 通江县| 志丹县| 修武县| 广灵县| 阿拉尔市| 莱阳市| 蓬莱市| 桐庐县| 会宁县| 潢川县| 沁源县| 邵阳县| 张家港市| 鄂尔多斯市| 天峨县| 芦溪县| 高碑店市| 临桂县| 龙陵县| 涞源县| 临漳县| 陈巴尔虎旗| 陇西县| 察哈| 永清县| 泽库县| 汽车| 通城县| 无锡市| 中阳县| 霸州市| 荆门市| 平果县| 海晏县| 工布江达县| 江门市| 台江县|