數(shù)據(jù)集成：讓SOA穩(wěn)著陸

2019-11-17 04:57:11

字體：大中小

供稿：網(wǎng)友

企業(yè)中高度分散的數(shù)據(jù)接口和數(shù)據(jù)模型早就該進(jìn)行有效的集成了。在實(shí)施SOA的過程中，這是無法跨越的必要環(huán)節(jié)。為了享受SOA的諸多效益，企業(yè)數(shù)據(jù)需要時(shí)刻預(yù)備著！

Carlson Hotels Worldwide公司的IT經(jīng)理John Kolodziejczyk指出：“首先需要解決的問題是：‘我們將使用什么樣的數(shù)據(jù)庫作為客戶的信息來源？’”為此，這家餐飲企業(yè)為其所有的應(yīng)用設(shè)計(jì)了一種通用數(shù)據(jù)架構(gòu)和一個(gè)治理該架構(gòu)的平臺。同樣，軸承制造商GGB公司的IT經(jīng)理Matthias Kenngott認(rèn)為，GGB需要一個(gè)中心集線器確保Oracle電子商務(wù)套件與3個(gè)老的ERP系統(tǒng)之間一致的數(shù)據(jù)映射。

如今，大量的企業(yè)數(shù)據(jù)要么深鎖在數(shù)據(jù)庫中，要么就被封閉在應(yīng)用中。通常情況下，應(yīng)用“知道”數(shù)據(jù)的含意和處理結(jié)果的含意，因此企業(yè)至少要在本地創(chuàng)建一個(gè)一致性的數(shù)據(jù)模型。然而，隨著企業(yè)跨應(yīng)用組合不同的功能，這些數(shù)據(jù)模型也被混合在一起，而且經(jīng)常是在IT開發(fā)人員不知道的情況下被混合的。

Starwood Hotels的技術(shù)經(jīng)理Song Park說：“你分發(fā)越多的數(shù)據(jù)，就越可能出現(xiàn)問題。”人們往往會懷疑服務(wù)和應(yīng)用產(chǎn)生結(jié)果的準(zhǔn)確性。ZapThink高級分析師Ron Schmelzer指出：“對數(shù)據(jù)而言，始終存在一種上下文關(guān)系。甚至當(dāng)一個(gè)字段為空白時(shí)，不同應(yīng)用會對它的含意做出不同的假設(shè)。”

而這些問題數(shù)據(jù)會讓集成的應(yīng)用集合或大量的服務(wù)變得不可靠和難于修復(fù)。而解決的辦法就是以服務(wù)的形式提供多種應(yīng)用需要的數(shù)據(jù)，即在需要的地方加入上下文元數(shù)據(jù)，以及調(diào)和分散的數(shù)據(jù)源之間存在的不一致關(guān)系。

SOA的訓(xùn)誡

SOA的雙重優(yōu)勢是開發(fā)執(zhí)行常用功能的服務(wù)以減少多余的開發(fā)工作，以及通過利用標(biāo)準(zhǔn)化接口或外殼使應(yīng)用功能可以跨系統(tǒng)使用，從而增加應(yīng)用的靈活性。而SOA松耦合的、抽象的本質(zhì)對于服務(wù)使用、處理和生成的數(shù)據(jù)具有深遠(yuǎn)意義。

Song Park在Starwood Hotels開始部署SOA時(shí)曾發(fā)問：“到底是把它分散開還是提供一種中心服務(wù)？”這個(gè)問題引導(dǎo)這家公司沿著很多企業(yè)走向SOA時(shí)的必由之路走下去：即用一種基于對數(shù)據(jù)含意的了解（無論數(shù)據(jù)來自何方）來處理數(shù)據(jù)的服務(wù)方式。Schmelzer強(qiáng)調(diào)：“SOA凸顯了數(shù)據(jù)不一致這一事實(shí)。”

當(dāng)服務(wù)交換數(shù)據(jù)時(shí)，發(fā)生誤搭配和非對應(yīng)轉(zhuǎn)換的可能性大大增加。Common Sense的DePalma說：“SOA把這個(gè)問題推升到了最高層面。”他說，“當(dāng)你嘗試建立第一個(gè)3路或4路數(shù)據(jù)服務(wù)，你會很快發(fā)覺數(shù)據(jù)治理之痛。”Hurwitz Group總裁Judith Hurwitz說，沒有最初的數(shù)據(jù)架構(gòu)努力，SOA就無法擴(kuò)展到整個(gè)企業(yè)。

專家稱，最佳的解決辦法是開發(fā)一個(gè)數(shù)據(jù)服務(wù)層，它會對將要使用的數(shù)據(jù)進(jìn)行分類，將其上下文關(guān)系展示給其他服務(wù)。這種方法把數(shù)據(jù)邏輯與業(yè)務(wù)邏輯分離開來，把數(shù)據(jù)訪問和處理作為由業(yè)務(wù)流程調(diào)用的獨(dú)立服務(wù)集合對待。數(shù)據(jù)集成：讓SOA穩(wěn)著陸

新需求催生MDM

這種解決辦法不同于傳統(tǒng)的數(shù)據(jù)集成。ZapThink的Schmelzer回憶說：“我們過去一直通過在要害堵點(diǎn)上實(shí)施控制來解決數(shù)據(jù)集成問題。而SOA消除了這些堵點(diǎn)。這意味著每個(gè)數(shù)據(jù)訪問點(diǎn)都必須能轉(zhuǎn)換和治理數(shù)據(jù)。”

IDC集成系統(tǒng)集團(tuán)的副總裁Henry Morris說：“數(shù)據(jù)集成和流程集成是緊密連接的。”他建議企業(yè)必須考慮利用服務(wù)來治理數(shù)據(jù)，以及影響主數(shù)據(jù)的流程。

Kanbay國際咨詢公司主設(shè)計(jì)師Nikhil Shah指出，SOA還提出了并行性問題。例如，當(dāng)舊數(shù)據(jù)通過流程傳播，或者當(dāng)多個(gè)服務(wù)在不同時(shí)間訪問數(shù)據(jù)時(shí)，流程過程中數(shù)據(jù)的變化就會影響到結(jié)果，尤其是在復(fù)合型應(yīng)用中。

Shah建議，IT要部署監(jiān)測服務(wù)，至少部署在發(fā)生變更時(shí)通知其他服務(wù)的服務(wù)，以使它們可以決定是重新啟動流程，還是調(diào)整對它們的計(jì)算。

此外，Shah說，數(shù)據(jù)服務(wù)的顆粒度越細(xì)，編排（orchestration）的開銷對流程的影響就越大，因?yàn)樗鼤黾禹憫?yīng)時(shí)間，導(dǎo)致同步問題。他建議IT在服務(wù)能夠消費(fèi)數(shù)據(jù)前，就建立數(shù)據(jù)治理需求模型。

為SOA環(huán)境中的數(shù)據(jù)治理提供緩存技術(shù)的PRogress 軟件公司數(shù)據(jù)治理副總裁Ken Rugg說，另一個(gè)問題是SOA的“雪犁效應(yīng)”，這種效應(yīng)發(fā)生在服務(wù)把有關(guān)數(shù)據(jù)處理的上下文關(guān)系傳遞給復(fù)合應(yīng)用中后續(xù)服務(wù)的時(shí)候。

IDC的Morris說，公布這些轉(zhuǎn)換可以幫助以后的服務(wù)了解它們正在使用數(shù)據(jù)的上下文關(guān)系。不過，這也可能使系統(tǒng)被非常龐大的數(shù)據(jù)文件所沉沒，降低每個(gè)服務(wù)的速度。

SOA的興起使廠商有理由重新利用他們的工具為SOA和非SOA環(huán)境簡化數(shù)據(jù)治理。很多廠商正在推廣MDM（主數(shù)據(jù)治理）工具，來確保應(yīng)用或服務(wù)在正確的上下文關(guān)系中使用正確的、當(dāng)前的數(shù)據(jù)。“主數(shù)據(jù)”不僅包含數(shù)據(jù)本身，而且還包含了供不同系統(tǒng)使用所需要的屬性、語義及上下文關(guān)系（即元數(shù)據(jù)）。一些廠商把這類系統(tǒng)稱為企業(yè)信息集成（EII）工具。

下一步是數(shù)據(jù)集線器

AMR Research公司研究主管Bill Swanton指出，MDM雖然不是新概念，但它基本上屬于事后數(shù)據(jù)系統(tǒng)，例如數(shù)據(jù)倉庫和業(yè)務(wù)智能。在SOA出現(xiàn)前，企業(yè)基本不用擔(dān)心主數(shù)據(jù)問題，因?yàn)榇蠖鄶?shù)信息保存在應(yīng)用套件中，而在應(yīng)用套件中，廠商至少部署了隱含的、內(nèi)部的數(shù)據(jù)架構(gòu)。所以，IT可以只關(guān)注在應(yīng)用套件之間傳送的或原始的數(shù)據(jù)，通過連接器的建立使應(yīng)用能夠處理大多數(shù)的上下文關(guān)系。

SOA的多對多架構(gòu)讓IT不能繼續(xù)把這個(gè)問題留給應(yīng)用廠商和集成渠道。不過Swanton說，現(xiàn)在連非SOA環(huán)境也將放棄開發(fā)連接器的方法，轉(zhuǎn)而向更易于集成的數(shù)據(jù)架構(gòu)遷移。

IBM、Informatica、Oracle和Siperian等公司開始從數(shù)據(jù)倉庫著手解決這一問題，它們提供一個(gè)或更多的數(shù)據(jù)集線器當(dāng)作可信賴代理，服務(wù)從凈化的數(shù)據(jù)存儲或由其他應(yīng)用生成有效數(shù)據(jù)的服務(wù)訪問數(shù)據(jù)集線器。數(shù)據(jù)集線器類似于傳統(tǒng)企業(yè)環(huán)境中常用的中心輻射架構(gòu)。

專家警告說，目前這些技術(shù)還很不成熟，最多只能對特定的數(shù)據(jù)治理流程起作用。

很多數(shù)據(jù)集線器含有一個(gè)適用的數(shù)據(jù)主題，比如客戶或產(chǎn)品信息。i2公司MDM業(yè)務(wù)高級經(jīng)理Satish Krishnaswamy說，MDM作為一個(gè)初始構(gòu)件還是不錯的；但在以后，IT必須普及數(shù)據(jù)集線器或使用特定的數(shù)據(jù)集線器聯(lián)盟。IDC的Morris說，“我們不會總局限在一個(gè)數(shù)據(jù)集線器上，因此IT應(yīng)當(dāng)向一個(gè)標(biāo)準(zhǔn)、規(guī)范、分級、跨不同來源的數(shù)據(jù)視圖的方向努力。”

為使這個(gè)系統(tǒng)易于治理，IT部門通常為一個(gè)主題領(lǐng)域定義規(guī)則和上下文關(guān)系，然后逐步擴(kuò)展到其他領(lǐng)域。決定是從一個(gè)特定主題系統(tǒng)，例如SCM中的產(chǎn)品信息入手，還是從一個(gè)一般化的系統(tǒng)入手，這取決于對具體應(yīng)用套件集成工作的關(guān)注力度。假如你的關(guān)注焦點(diǎn)放在與ERP或SCM的互動上，那么從特定主題的數(shù)據(jù)中心入手可能是更為合理的選擇。反之，假如你的焦點(diǎn)放在服務(wù)與不同應(yīng)用互動的SOA上，那么從一個(gè)一般的數(shù)據(jù)中心入手則更合理。

數(shù)據(jù)架構(gòu)的構(gòu)建

MDM工具的確能夠幫上忙，但假如企業(yè)不了解自己的數(shù)據(jù)，那么這類工具就無法發(fā)揮作用。EDS公司的Fred Cummins說，由于集中式數(shù)據(jù)存儲一般涉及事后結(jié)果，而不涉及狀態(tài)和交易，因此，MDM系統(tǒng)越來越像傳統(tǒng)的數(shù)據(jù)倉庫或主數(shù)據(jù)庫，那么無論是在傳統(tǒng)環(huán)境還是SOA環(huán)境中，它就越不可能滿足交易系統(tǒng)的需要。

Cummins說，對SOA來說，單純重新打包EAI工具的MDM工具沒什么太大幫助。這是因?yàn)镾OA應(yīng)當(dāng)受到業(yè)務(wù)流程的驅(qū)動，而EAI一般將重點(diǎn)放在把應(yīng)用連接在一起，而不關(guān)注每種應(yīng)用基礎(chǔ)數(shù)據(jù)的上下文關(guān)系。

從根本上講，這是個(gè)設(shè)計(jì)問題。正確地設(shè)計(jì)架構(gòu)和具體服務(wù)需要開發(fā)人員了解他們與之互動的服務(wù)，以及應(yīng)用所使用和產(chǎn)生的所有數(shù)據(jù)，而這是個(gè)需要投入大量勞動的過程。這正是為什么IT需要方便地訪問數(shù)據(jù)服務(wù)集合或是數(shù)據(jù)映射的原因。Common Sense的 DePalma說：“到了一定階段，就必須建立信息庫。這不僅對SOA至關(guān)重要，在傳統(tǒng)環(huán)境中也是如此。”

映射建立后，IT就可以將注重力放在開發(fā)執(zhí)行它們的連接或服務(wù)上。IT必須了解哪些映射應(yīng)當(dāng)提供給多個(gè)服務(wù)和應(yīng)用，因此要被當(dāng)作獨(dú)立的流程來實(shí)現(xiàn)；還有哪些映射是特定業(yè)務(wù)邏輯所特有的，應(yīng)當(dāng)與這個(gè)業(yè)務(wù)邏輯封裝在一起。

而由于沒有清楚的ROI，許多企業(yè)并沒有開展數(shù)據(jù)架構(gòu)的建設(shè)。不過，IT部門可以循序漸進(jìn)地參與進(jìn)去，圍繞用于滿足特定應(yīng)用或服務(wù)需要的信息開發(fā)規(guī)則和元數(shù)據(jù)。

BEA總設(shè)計(jì)師Paul Patrick說，數(shù)據(jù)架構(gòu)通常包括多個(gè)數(shù)據(jù)模型，每個(gè)模型面向特定的主題或流程類型。IT部門可以采取分段開發(fā)的方式，同時(shí)需要精確定義數(shù)據(jù)模型之間所需的映射。

IT部門還要集中精力來應(yīng)付異常數(shù)據(jù)。例如，IT應(yīng)當(dāng)開發(fā)查找異常數(shù)據(jù)的服務(wù)，而不是去嘗試開發(fā)映射每一種可能的狀態(tài)或關(guān)系企業(yè)范圍的本體。最后，專家建議，企業(yè)應(yīng)當(dāng)構(gòu)建分發(fā)主數(shù)據(jù)的數(shù)據(jù)服務(wù)層，盡管實(shí)現(xiàn)這一目標(biāo)的基礎(chǔ)設(shè)施和工具目前尚不成熟。

預(yù)備行動

在企業(yè)中以服務(wù)的形式提供數(shù)據(jù)源是一項(xiàng)宏大的工程。對傳統(tǒng)的集成工作而言，這意味著了解每個(gè)應(yīng)用中的上下文關(guān)系，以及數(shù)據(jù)在交付給其他應(yīng)用時(shí)該如何轉(zhuǎn)換。對SOA來說，這需要了解數(shù)據(jù)與不同的業(yè)務(wù)流程間的多種關(guān)系和依存性。

專家認(rèn)為解決這種環(huán)境的復(fù)雜性，需要在建立數(shù)據(jù)架構(gòu)模型前進(jìn)行IT投入，要求企業(yè)系統(tǒng)地考慮數(shù)據(jù)的依存性和上下文關(guān)系。IDC的Morris說，發(fā)現(xiàn)數(shù)據(jù)模型和建立映射的工作量占到SOA數(shù)據(jù)架構(gòu)開發(fā)工作量的70%左右。GGB的Kenngott說，建模與發(fā)現(xiàn)的工作量占其ERP整合項(xiàng)目中數(shù)據(jù)集成工作量的30%左右。

Starwood的Park說，這是非常值得做的預(yù)備工作。“否則，你會在實(shí)施項(xiàng)目很長時(shí)間后才發(fā)現(xiàn)有10個(gè)不需要的字段、10個(gè)需要但在設(shè)計(jì)服務(wù)時(shí)不知道的字段，以及5個(gè)與設(shè)想不一致的字段。當(dāng)你擁有一個(gè)具有數(shù)百個(gè)服務(wù)的復(fù)雜系統(tǒng)時(shí)，這些接口必須被明確下來。”他說。

上一篇：BEA服務(wù)：讓SOA實(shí)施更快捷

下一篇：SOA對集中數(shù)據(jù)的作用