1.        系統預期

使用圖形化界面將外部數據文件裝入數據庫并按照指定規則將裝入的數據添加或替換到目標數據庫中。

支持多種格式數據文件。

支持文件裝入規則可靈活訂制。

支持對指定數據文件內容過濾配置。

實現模板管理。

操作日志記錄及日志管理。

裝庫結果跟蹤。

裝庫過程體現批次概念。

裝庫過程監視。

2．名詞解釋

分析器（parser）--- 用于將不同格式的數據文件轉換為統一格式（以某符號包圍以某符號分隔的文件格式，例：#content#,#content2#等形式）。

映射（mapping） ---  將數據文件中的各段內容與預處理庫中的字段進行對應，在對應過程中支持合并、拆分、字串截取等操作。

過濾（filter）    ---  對指定字段中的內容進行替換、刪除、判斷不等于某值時替換、判斷等于某值時替換等操作。

3．系統描述

系統采用圖形界面進行配置，其主要工作流程分為兩大部分：分別為預處理部分和處理部分。預處理部分工作流程為：首先將各種格式的數據文件通過預定義的分析器（parser）進行格式統一轉換。根據轉換后的數據文件的結構（格式）在系統中生成預處理表(prd)，然后根據業務規則對該結構進行一定的轉換（transformation）其中包括字段映射（mapping）及字段內容過濾（filter）操作，最后將數據文件中的相應內容按照映射關系和過濾規則添加到生成的預處理表中，并記錄日志。至此預處理部分結束。在預處理部分中每個階段都有其相應的模板，設置時可直接選擇其相應模板即可完成設置工作。

處理部分工作流程為：首先選定源數據庫即（預處理庫），選定目的數據庫即（采購交接庫，加工庫），然后選擇裝庫規則（預先定義好的adaptor配置文件）最后設置日志信息。在此階段可直接選擇已定義的模板進行設置。

完成以上兩部分設置后則最終將數據文件內容按照指定的規則導入到目標數據庫中。

以上過程僅僅只是做了整個裝庫過程的配置步驟說明，在實際裝庫操作中可直接選擇裝庫模板，此模板為包括每個階段模板的總模板。可直接選擇此模板進行所有各階段的裝庫設置，之后點擊確定進行裝庫操作。

4．功能實現

系統在裝入數據文件時采用外部格式統一方式，選用相應的數據格式解釋器（parser）并設置其轉換規則將不同格式的數據文件統一轉換成同一種數據格式。之后可將設置內容保存為文件格式轉換模板進行保存。

將經過格式轉換的數據文件導入系統后對數據文件的各段內容與預處理數據庫字段之間進行映射操作。并為預處理數據庫字段的字段類型進行指定。映射操作中支持字段合并及字段拆分和字段截取操作，分別用符號“+”、“方向箭頭”、“substring(字符串開始位置，截取字符數量)來對標識及對對應的操作進行支持。

字段映射操作后，對字段內容進行過濾，過濾操作實現了將指定字段內容進行替換、刪除、判斷如果等于某個值就替換為某值、如果不等于某值就替換為某值操作。過濾字段（為所有可選擇的字段）、字段內容（字段內容的某個值或整個字段）另外還支持將日期格式“04/12/2004”轉換成“2004/04/12”等日期格式轉換操作。

對字段內容進行過濾后指定源數據庫（預處理庫）及目的數據庫（采購交接庫及加工庫）并設置裝庫日志列表，指定裝庫規則后選擇確定，系統自動將對源數據庫及目的數據庫的設置，裝庫日志信息修改到adaptor預先定義好的模板文件的相應位置，并調用后臺adaptor引擎進行裝庫操作。

adaptor引擎在執行時將自己封裝成一個進程，前臺系統通過監測該進程的狀態判斷裝庫進度。adaptor引擎在執行裝庫操作時將日志信息及裝庫操作的一些信息寫到相應數據表中，前臺系統監測執行裝庫任務的進程開始后便可到相應數據表中取出裝庫操作信息（已經裝入的記錄條數）及裝庫日志到前臺顯示。從而實現裝庫過程監視功能。

4.1分析器（parser）實現

分析器為針對某種格式的數據文件開發的能夠將其轉換成某種特定格式的程序類，一個分析器可能包括一個或多個程序類及一個配置文件。

配置文件是系統能夠識別及正確使用該分析器的前提，即系統通過解析該配置文件來正確調用分析器的程序類實現特定的功能。系統解析該配置文件后便知道需要傳入什么樣的參數及如何調用些分析器的各個程序類。

在配置文件中主要描述程序類的方法名稱調用參數及方法注釋等。

界面顯示如下：

4.2映射（mapping）實現

映射操作是將讀入的數據文件內容與預處理庫的字段進行對應及為預處理庫的字段指定數據類型的操作，在映射過程中可進行字段合并、復制、拆分、截取操作。

字段合并：此操作是將兩個或兩個以上的數據文件字符串合并成一個字段對應到預處理庫中，在合并操作時各合并的字段有先后順序。在界面中使用“+”號來標識字段合并操作。

例如：數據文件字段標識1+數據文件字段標識2+數據文件字段標識3

字段復制：此操作是將數據文件字符串復制全并到預處理庫的某個字段中。在界面中使用“方向線”來標識此操作。

字段拆分：此操作是將一個數據文件字符串拆分成兩個或兩個以上的字符串分別對應到到預處理庫的相應字段。在界面中使用“方向線”和“substring()”來標識拆分操作。

字段截取：此操作是將一個數據文件字符串按要求進行截取后對應到預處理庫的相應字段中。在界面中使用“方向線”和“substring()”來標識。

                    例如：substring(字符串開始位置，截取字符數量)

界面顯示如下：

4.3過濾（filter）實現

過濾操作是將指定的預處理庫字段的內容進行替換、刪除、判斷替換、判斷刪除、格式轉換操作。

替換：將指定的字段中的某些字符替換成其它字符。在界面中使用“替換”來標識此操作。

刪除：將指定字段中的某些字符刪除。在界面中使用“刪除”來標識此操作。

判斷替換：將指定字段中的某些字符進行判斷如果“不等于”則替換。在界面中使用“不等于”來標識此操作。

將指定字段中的某些字符進行判斷如果“等于”則替換。在界面中使用“等于”符號來標識此操作。

判斷刪除：將指定字段中的某些字符進行判斷如果“不等于”則刪除。在界面中使用“不等于”來標識此操作。

將指定字段中的某些字符進行判斷如果“等于”則刪除。在界面中使用“等于”符號來標識此操作。

4.4 數據轉庫實現

         數據轉庫操作是將已裝入預處理庫的數據按照配置的規則轉到其它數據庫中。其中包括記錄內容判斷、記錄添加、記錄修改等數據庫操作。其實現方式為首先對裝庫流程的規則預先定義一個adaptor模板及adaptor配置文件，通過系統可視化操作對adaptor配置文件中的相應值進行修改，并對其中用到的日志內容進行設置，完成后調用adaptor引擎進行轉庫操作。adaptor引擎則將自己包裝成一個進程運行，系統通過動態監測該進程的狀態來監控執行進度。adaptor引擎進行轉庫操作中將日志信息及轉庫的記錄條數等信息寫到轉庫信息表及日志表中，系統通過從日志信息及轉庫信息表中讀取信息來顯示其執行進度及已執行的記錄條數等信息。同時系統通過監測該進程是否結束來判斷操作是否已經結束，如已經結束則顯示全部轉庫信息。

備注：在整個操作過程中在對數據未進行過濾之前先將數據文件內容原樣放裝入數據庫中一份做為備份。