移動通信計費清算的得力助手

2019-11-03 09:18:53

字體：大中小

來源：轉載

供稿：網友

　　王海波，南京郵電學院碩士研究生，中國移動（深圳）有限公司研發中心軟件工程師，研究方向為計算機軟件應用。

　　容災的重要性

　　隨著企業信息系統的普及和整個社會電子商務的發展，現代企業的運作日益依賴于信息技術。越來越多的關鍵數據被存儲在計算機系統中，這些數據的丟失和損壞將對企業造成難以估量的損失。同時企業對于數據可用性的要求也大為提高，因為即使是短時間的系統停機也將造成業務停頓和經濟損失。

　　傳統的數據備份技術和服務器集群（Cluster）技術足以避免由于各種軟硬件故障、人為操作失誤和病毒侵襲所造成的破壞，保障數據安全；但當面臨大范圍災害性突發事件，如地震、火災、恐怖襲擊時，上述技術就無能為力了。此時若想迅速恢復應用系統的數據，保持企業的正常運行，就必須建立異地的災難備份系統——容災系統（Disaster Recovery）。比如在美國“9. 11”事件中，駐扎其間的幾千家跨國企業集團的電腦系統數據資料頃刻間化為烏有，很多公司多年積累的經營數據毀于一旦，公司處于崩潰的邊緣；而一些建立了容災系統的公司，卻在第二天就恢復了正常運轉。此次事件再次喚起了人們對數據安全性和容災技術的重視。

　　一旦IT 系統和數據遭到災難性打擊，企業將面臨破產的威脅，因此數據資料的完好保存是企業在災難后能夠繼續生存的保證。雖然企業不能控制或防止災難的發生，但如果災難發生時已做好了相應的準備，已將業務數據備份存儲在距離主要業務中心數里之外的遠程備份中心，就可以保護重要數據，就可以保持企業的持續運作，從而輕松面對各種災難。

　　近年來我國移動通信的快速發展，業務量迅猛增長，新業務不斷出現，由此對移動電話漫游計費清算系統提出了更高的要求。由于計費清算中心擔負著計費數據的采集、接收和處理工作，以及國際、國內漫游計費功能等，因此對其運行可靠性要求很高。為了使我國的移動電話計費結算系統能夠適應未來移動通信業務發展的需要，計費結算處理時間縮短，資金回收加快，提高移動通信的服務水平，就需要建立健全的數據管理策略，避免各種災難帶來的數據丟失和業務中斷。中國移動通信公司在對全國移動計費清算中心進行了大規模容災化改造，已經獲得了良好的效果。以下對計費結算中心的容災中心建設方案進行簡要論述。

　　容災技術的基本原理

　　傳統的數據系統的安全體系主要有數據備份系統和高可用（HA）系統兩個方面。備份系統提供應用系統的數據后援，確保在任意情況下數據具有完整的恢復能力。高可用（HA）系統確保本地應用系統在多機環境下具有抗御任何單點故障的能力，一旦系統發生局部的意外(如操作系統故障、掉電、網絡故障等) ，高可用系統可以在最短的時間迅速確保系統的應用繼續運行(熱備份) 。它們屬于容錯系統, 就是系統在運行過程中, 若其某個子系統或部件發生故障, 系統將能夠自動診斷出故障所在的位置和故障的性質, 并且自動啟動冗余或備份的子系統或部件, 保證系統繼續運行, 自動保存或恢復文件和數據。容錯的機制, 就是為系統提供關鍵子系統或部件的冗余或備份資源, 如電源、磁盤驅動器、中央處理器、控制器、存儲器以及網絡交換部件等。容錯和容災共同之處都是為了保證系統的安全可靠; 其主要的區別是所針對的導致系統中斷的原因不同, 容錯是為了防止網絡內部的某些子系統出現故障, 而容災是為了防止由于自然災害等導致的整個系統全部或大部分發生問題。

　　容災技術則是通過在異地建立和維護一個備份系統，利用地理上分散性來保證數據對于災難性事件的抵御能力。容災系統在實現中可分為兩個層次：數據容災和應用容災。數據容災指建立一個異地的數據系統，作為本地關鍵應用數據的一個備份。應用容災是在數據容災的基礎上，在異地建立一套完整的與本地生產系統相當的備份應用系統（可以是互為備份），在災難情況下，遠程系統迅速接管業務運行，因此，應用容災是更高層次的容災系統。

　　應用級容災的實現

　　本期容災備份工程的總體建設目標是：在盡量不影響原來系統業務功能的條件下，在北京中心和深圳中心之間，分別為國內漫游業務系統和國際漫游業務系統建立容災備份機制，以確保當主系統發生意外災難或有計劃的長時間停機的情況下，備系統能夠在短時間內接替、延續主系統的生產任務，并保證主系統以前的處理結果在備系統中能夠繼續使用，同時與備系統的后續處理保持數據一致。

　　實現應用系統的容災可以采用多種技術手段，如基于數據庫復制的方式；基于操作系統文件系統復制的方式；基于高端聯機存儲設備（磁盤陣列）之間的數據寫操作同步的方式，以及應用軟件數據同步的方式。各種實現手段均有其各自的優缺點。采用硬件同步方式的優點是對應用程序透明，在日后增加新業務時的軟件維護費用很低。但由于北京和深圳地理位置相距2000多公里，TB一級的數據傳輸量，每天將產生上千萬張的用戶話單，如果采用采用傳統的磁盤鏡像、數據庫復制、操作系統級同步等低層次的數據同步方案主備系統之間2000多公里的距離上實現完全同步，即使使用光纖，延遲會比較大，等待同步的握手時間會比較長，這樣每天傳輸TB級的數據在實現上是有一定困難的，并且由于網絡傳輸距離遠，使得延遲增大，會影響主系統生產性能；另外，建設成本也過于龐大，經過初步測算，如果使用硬件同步的方式，按照TB級數據的量，它在北京和深圳要申請的線路（廣域網絡專線租用）帶寬要超過100兆，這就需要投入很高的日常運作成本，這筆投資非常大，而這不僅僅是一次性投資，它要租用一個上百兆的線路的話，每個月還要交付數目不菲的線路租用費，所以使用成本難以令人接受，因此采用通常意義上的數據鏡像備份技術是不現實的。

　　應用級同步處理方式是指北京和深圳都采用相同的應用軟件，對主系統和備系統兩個中心的軟件、硬件進行擴容改造，使得兩套系統具有相同的處理能力，并具有數據同步處理的能力，進而實現容災備份。這種方案全部依賴于應用軟件，根據業務處理的特點來完成系統和數據處理的同步，從而大大減少主系統和備系統同步所需的信息，降低了對網絡帶寬的需求和運營成本，其缺點是系統的軟件復雜度較高，從而導致日后在增加新業務功能時軟件維護費用增加。

　　經過對主系統中心和備系統中心現狀全面的分析和綜合考慮，決定采用應用級同步處理的方式來實現中國移動通信計費結算中心容災備份。

　　應用級容災系統方案的結構如圖1所示。基于應用的容災方案就是不使用硬件技術和中間件技術，只是通過修改它的計費清算軟件來達到主系統和備系統同時處理移動計費清算業務的目的。這樣最主要的是會節省客戶的運營成本，最主要的是客戶不需要在北京和深圳之間租用幾十兆甚至上百兆帶寬的線路，另外這種同步的效率可靠性也能夠達到用戶的滿意程度。主備雙方采用完全相同的應用軟件，這個方案的核心是要在應用程序當中嵌入數據同步的功能。在文件傳輸模塊中，要求省中心同時向主系統和備系統發送上發文件，一般情況下，國際運營商/國際清算中心的數據文件只發送到主系統，主系統通過傳輸網絡將數據傳送到備系統。在正常情況下，僅主系統將處理結果文件向各省或國際運營者下發，而備系統只生成結果文件但不下發。

　　在應用系統開發中將涉及對應用程序的容災化改造，而且對以后的新業務功能的開發、維護、版本更新等，都必須遵照一定的容災設計規范，確保在實現新的業務功能的同時保證主備系統數據處理的同步。應用級數據同步一般有兩種方案：一是采用復制和導入主系統處理結果的方法；二是備份中心對輸入文件進行同步再處理。其中第一種方法的優點是災難切換后新主系統與原主系統的數據一致性較好，缺點是切換時備系統的內部數據同步較復雜。第二種方案的優點是內部數據一致性較好，但主備系統的數據一致性的同步機制比較復雜。綜合考慮這兩種方案的優缺點，我們決定將兩種方案相結合，針對不同應用程序的特點，選擇相應的實現方案。應用級容災系統所要解決的首要問題是在日常情況下如何保持主備系統同步處理數據并且保證主備系統處理結果相同。要達到這個目標，需要解決以下幾個核心問題：

　　1．主備應用系統軟件更新隨機性

　　由于原有的清算系統的業務在不斷更新和演化，軟件版本會不斷更新，若要確保備系統與主系統具有相同處理能力和處理行為的等價系統，首先必須建立起一套有效的主備系統版本更新和監控的控制機制和管理規章制度。軟件版本控制包括源代碼、目標碼、開發和生產環境的控制。

　　2．主生產系統處理的數據隨機性

　　主生產系統在處理數據時有相當多的隨機數據，主要包括：運行環境數據，包括系統時間等操作系統或其他調用返回的數據；公共參數，即數據庫公參表；子系統私有參數，應用程序配置文件等相對靜態的參數等等。如果備系統采用同步處理的方式運行的話，必須確保使用與主系統完全相同的隨機數據，才能得到相同的處理結果。例如，若備系統在處理某一話單文件時使用與主系統不同的處理時間，則有可能對過期話單有不同的判斷結果，從而造成主備系統的結算帳目差異。

　　為保證備系統在完成同一數據處理時使用與主系統完全相同的隨機數據，必須將主系統中所使用的上述隨機數據傳遞到備系統，備系統依照此隨機數據進行處理，才可以確保主備系統處理結果的一致性。我們將這些由主系統產生并傳遞到備系統的隨機數據稱為同步索引（SyncIndex），簡稱IDX。

　　對于前面過期話單檢測的例子，解決的辦法是將主系統處理該文件的處理時間傳遞到備系統，備系統放棄自己的系統時間而使用主系統的時間來檢測過期話單，這樣就可以保證主備系統處理結果是完全一致的。這里的處理時間就是IDX所包含的隨機數據。

　　3．與外部系統的接口數據的同步

　　三期系統的主要外部接口包括31個省中心和上百個國際運營商（包括國際清算中心），為實現容災備份，備系統必須同這些外部系統具有與主系統相同的接口，接收和處理相同的數據，并且需要建立起一套校驗機制以確保主備系統接收和處理的是完全相同的數據。

　　容災同步機制的目的是要保證主備系統的處理同步和結果一致，現在系統的每個業務線處理由多個子系統合作完成，而且各個子系統之間是相互依賴的，即一個子系統的輸出是另一個子系統的輸入。因此為了保證主備系統的處理同步和結果一致，就需要保證主備系統各個子系統對應進程處理同步和結果一致，由此我們引入了同步機制。

　　同步機制包括：同步索引（IDX）機制、結果導入機制及準同步索引機制。

　　同步索引（IDX）機制的原理是在主系統處理的過程中不斷產生同步信息，并發給備系統，同步信息中包含對上述處理隨機輸入數據的描述。備系統在接收到此同步信息后觸發相應的處理模塊，該處理模塊根據同步信息中包含的數據進行相應的業務處理，從而保證主備系統處理的同步和結果的一致性。

　　結果導入機制：理論上講，上面所述的IDX同步處理方式，可以實現各種應用系統的同步，其前提條件是，所有的隨機變量都需要由主系統記錄到IDX中并傳遞到備系統，備系統嚴格按照IDX進行處理。但是，如果需要傳遞的隨機變量數目過多，會導致IDX過于巨大，主備系統處理邏輯和處理性能都會因此受到很大影響，從而導致同步索引機制難以實施。對于這種情況，可以考慮使用結果導入機制，即直接將主系統處理的結果數據發送到備系統。在此同步機制下，備系統只需將主系統傳遞過來的結果數據導入而不進行其它任何處理，就可以得到與主系統完全一致的結果。

　　準同步索引機制：結果導入機制雖然可以在對系統性能以及處理邏輯影響較小的情況下，保證主備系統處理結果的一致性，但系統只有最終結果，沒有中間結果，系統內部數據（數據庫表與表、表和文件之間等）難以一致；導致主備切換后備系統不能接續原主系統進行處理。因此為了解決在災難切換時的數據一致，這里提出結果導入方式和半同步處理方式互補的方式：準同步索引機制。即使用結果導入來備份主系統的處理結果，使得在災難情況發生后可以查看以前的處理結果。而備系統使用簡化的IDX進行同步處理，從而得到另一套處理結果。這套結果可能同主系統的處理結果略有不同，但不會丟失話單等重要數據，而且其結果數據是內部一致的。在災難切換后使用內部一致的數據來繼續處理可以大大簡化切換時的數據一致化操作。

　　容災平臺

　　遠程應用級容災系統實施的關鍵是容災平臺（Disaster Recovery Platform）的構建。

　　容災平臺完成同步數據的生成、管理、傳輸及應用系統的同步功能，保障主備系統間的應用程序同步跟從及備份功能，所提供的功能在主備系統是有所差異的。在主系統，應用系統與容災平臺協作，調用容災平臺的應用程序接口（DR API），獲取同步信息，如輸入參數、系統時間、環境變量、處理文件名、生成結果等，經DR平臺將同步數據打包生成同步數據文件，通過同步數據管理器及文件傳輸系統，將同步信息傳輸到備系統。

　　備系統的容災平臺在接收到同步數據信息后，通過同步數據管理器進行解包驗證處理，并且按照主系統的處理順序，交給DR API同步索引執行器，備系統應用系統通過DR API獲得同步信息，執行信息服務處理程序，完成與主系統一致的操作，達到同步跟從功能。

　　考慮到某些數據量較小的結果是無法通過DR API的同步索引生成機制獲得備份的，就考慮添加DR API結果導出功能，應用系統通過DR API的結果導出功能，將結果導出后，交給結果導出管理器管理打包，再通過傳輸系統傳送到備系統，備系統的結果導入管理器接收到主系統的導出結果，在備系統進行相應的導入工作，完成主系統關鍵數據的備份功能。

　　除了同步數據生成及結果導入導出模塊外，還需要考慮主備系統軟件版本同步控制、容災監控與切換以及容災前臺維護界面與報表功能。

　　綜上所述，遠程容災平臺實施模型如圖3所示。

　　該容災平臺實施模型包括以下幾個功能模塊：

　　1．容災應用程序接口（DR API）

　　即容災系統開發平臺，功能主要包括IDX生成和執行API、容災結果導出API，這些API需要嵌入到三期的應用程序中去，并且在以后新業務開發過程中都要遵守依據此平臺所制定容災開發規范，在新業務的應用程序中適當地嵌入DR API，來保證主備系統處理的同步。

　　2．同步數據管理模塊

　　包括同步數據文件生成（在主系統中根據容災API所產生的同步數據生成同步數據文件以便向備系統傳遞），公共參表數據版本管理同步，同步數據解釋執行（在備系統中），業務程序間依賴關系檢測等功能。它是容災平臺的核心，負責協調各個子系統，對備系統有調度功能，它負責啟動或觸發所有的三期需同步的應用程序。

　　3．Exporter/Importer結果導出/導入模塊

　　依API導出結果數據生成數據映像文件，從映像文件導入數據庫等，作為DR API的補充。結果導入也利用同步數據管理器來調度協調主備系統。

　　4．軟件版本控制

　　用于控制和監控容災系統源代碼、執行碼的版本確保主備系統使用相同版本的軟件，包括軟件的包裝、安裝和升級等過程控制。軟件版本的更新必須遵循嚴格的規范。

　　5．容災前臺維護界面

　　容災前臺維護界面用于配置容災同步管理平臺，使其滿足三期系統的容災需求，并與被應用系統調用的容災應用程序接口（DR API）相配合。前臺維護界面包括應用系統同步數據參數配置，結果導出/導入參數配置，軟件版本管理與安裝界面等。

　　6. 容災文件傳輸

　　容災文件傳輸的主要功能包括廣域網中轉、主備同步信息文件傳輸。

　　由于備系統需要建立和外部系統（省中心和國際運營者）的網絡連接以及主備系統之間的熱線網絡，因而在廣域網物理拓撲結構上已經建立了一套備份網絡，從而可以在某省中心與主系統之間發生網絡傳輸故障時通過備系統來中轉省上發文件，這樣可以充分發揮容災備份的潛力，提高主系統的生產可靠性、穩定性和及時性。主備同步信息文件傳輸主要負責將主系統產生的同步數據文件（包括IDX文件、結果導出映像文件、公參表映像文件、軟件版本更新文件等）傳遞到備系統。

　　7. 系統管理與高可靠性控制

　　系統操作員可以通過該功能模塊管理控制主系統和備系統，診斷故障，保障系統的高可靠性，系統對可預見故障，自動修復錯誤，如果出現較大故障，系統進行高可靠性本地切換或主備系統切換。結束語

　　基于本文研究的遠程應用級容災系統，目前已經在實際計費工程項目中取得了良好的效果，在實際的容災系統中得到了充分的運用，備系統實現了業務數據實時跟從處理，生產結果數據實時備份，并且在系統維護和管理決策人員做出災難決策后，系統執行切換的時間將不超過2小時，完全能夠抵御百年一遇的災難攻擊。該技術也可以廣泛運用于銀行、證券、電信、軍事指揮、機密通信等大型計算機信息系統之中，為預防災難性事件提供了有力保障。該系統的建立使中國移動的計費清算系統可實現系統永續運行的需求，極大的提升了在其國內外電信運營企業之間的信譽與地位，增強了用戶的安全感，堅定了持有中國移動股票的股民們的信心。在電信運營商越來越注重用戶滿意度的今日，中國移動遠程計費清算備份中心的建立，加強了中國移動的市場競爭力，進一步提升了中國移動的行業地位，將有利于其國際間業務的開展，另外，GPRS、移動短消息、移動數據業務等新業務正不斷增長，良好的業務支撐系統的建立，也為中國移動進一步的業務拓展打好了堅實的基礎。

　　據悉，這也是國際上兩地距離相距最遠、傳輸數據量最大、采用技術最新的遠程備份系統之一。遠程應用級容災：移動通信計費清算的得力助手

----《中國移動通信》