Oracle9i的全文檢索技術
2024-08-29 13:29:37
供稿：網友
摘要 全文檢索技術是智能信息管理的關鍵技術之一，oracle text作為oracle9i的一個組件，提供了強大的全文檢索功能，用oracle9i做后臺數據庫，就可以充分利用其全文檢索技術，構建復雜的大型文檔管理系統。本文主要介紹了oracle text的體系結構及其使用。
關鍵詞 oracle text 全文檢索
oracle一直致力于全文檢索技術的研究，當oracle9i rlease2發布之時，oracle數據庫的全文檢索技術已經非常完美，oracle text使oracle9i具備了強大的文本檢索能力和智能化的文本管理能力。oracle text是oracle9i采用的新名稱，在oracle8/8i中它被稱作oracle intermedia text，在oracle8以前它的名稱是oracle context cartridge。使用oracle9i和oracle text，可以方便而有效地利用標準的sql工具來構建基于文本的新的開發工具或對現有應用程序進行擴展。應用程序開發人員可以在任何使用文本的oracle數據庫應用程序中充分利用oracle text搜索，應用范圍可以是現有應用程序中可搜索的注釋字段，也可是實現涉及多種文檔格式和復雜搜索標準的大型文檔管理系統。oracle text支持oracle數據庫所支持的大多數語言的基本全文搜索功能。本文將介紹如何使用oracle9i的全文檢索技術來為自己的應用提供一個優秀的解決方案。
1 oracle text的體系架構
下圖是oracle text的體系架構。
圖1 oracle text的體系架構
以上面的體系架構圖為基礎，oracle text 索引文檔時所使用的主要邏輯步驟如下：
（1）數據存儲邏輯搜索表的所有行，并讀取列中的數據。通常，這只是列數據，但有些數據存儲使用列數據作為文檔數據的指針。例如，url_datastore 將列數據作為 url 使用。
（2）過濾器提取文檔數據并將其轉換為文本表示方式。存儲二進制文檔 (如 word 或 acrobat 文件) 時需要這樣做。過濾器的輸出不必是純文本格式 -- 它可以是 xml 或 html 之類的文本格式。
（3）分段器提取過濾器的輸出信息，并將其轉換為純文本。包括 xml 和 html 在內的不同文本格式有不同的分段器。轉換為純文本涉及檢測重要文檔段標記、移去不可見的信息和文本重新格式化。
（4）詞法分析器提取分段器中的純文本，并將其拆分為不連續的標記。既存在空白字符分隔語言使用的詞法分析器，也存在分段復雜的亞洲語言使用的專門詞法分析器。
（5）索引引擎提取詞法分析器中的所有標記、文檔段在分段器中的偏移量以及被稱為非索引字的低信息含量字列表，并構建反向索引。倒排索引存儲標記和含有這些標記的文檔。
2 簡單的示例
這里先給出一個簡單示例說利用oracle text實現全文檢索的方法與步驟，在后面在進行具體的說明。orcale9i提供了oracle text manager可以簡化許多工作，所有在oracle text manager中完成的工作，都可以在通過pl/sql來實現。要使用oracle text，必須具有ctxapp角色或者是ctxsys用戶。oracle text為系統管理員提供ctxsys用戶，為應用程序開發人員提供ctxapp角色。
ctxsys用戶可執行以下任務：啟動oracle text服務器，執行ctxapp角色的所有任務。
具有ctxapp角色的用戶可執行以下任務： 創建索引，管理 oracle text 數據字典，包括創建和刪除首選項，進行oracle text 查詢，使用 oracle text pl/sql程序包。
使用oracle text的步驟：
（1）創建表來保存某些文檔。該示例使用一個主關鍵字列來標識每個文檔，使用一個小的varchar2列來保存每個文檔。
create table docs (id number primary key, text vachar2(80));
（2）將兩個示例文檔置入該表：
insert into docs values (1，'the first doc')；
insert into docs values (2，'the second doc')；
commit；
（3）使用oracle text manager來創建和修改首選項，首選項將與索引相關聯。
（4）使用oracle text manager創建文本索引。另外，可以輸入以下使用默認首選項的 sql 語句：
create index doc_index on docs(text) indextype is ctxsys.context;
（5）使用 contains 函數，發出基于內容的文檔查詢。例如：
select id from docs where contains (text, 'first') > 0;
這將在文本列包含單詞 first (即文檔1) 的 docs 中查找所有行。語句中的>0部分是有效的oracle sql所必需的，oracle sql不支持函數的布爾返回值。
以上只是一個簡單的示例，旨在給出使用oracle text建立全文索引的完整步驟，歸納起來如下：
（1）建表并裝載文本（包含帶有需要檢索的文本字段）
（2）配置索引
（3）建立索引
（4）發出查詢
（5）索引維護：同步與優化（將在后面介紹）
3 文本裝載
要實現文本的全文檢索首先必須把正確的文本加載到數據庫表中，默認的建立索引行為要求將文檔裝載在文本列中，盡管可以用其它方式 (包括文件系統和 url 形式)存儲文檔 (在"數據存儲"選項進行設置)。默認情況下，系統應該將文檔裝載在文本列中。文本列可以是varchar2、clob、blob、char或bfile。注意，只有在將oracle7系統移植到oracle8的情況下才支持用long和long raw 這兩個相反的列類型存儲文本。不能為列類型nclob、date和number建立索引。
關于文檔格式，因為系統能為包括html、pdf、microsoft word和純文本在內的大多數文檔格式建立索引，可以將其中的任何文檔類型裝載到文本列中(在"過濾器"選項中設置)。有關所支持的文檔格式的詳細信息，可以參閱oracle text user's guide and reference 中的附錄"supported filter formats"。
裝載方法主要有以下幾種：
（1）sql insert 語句
（2）ctxload 可執行文件
（3）sql*loader
（4）從 bfile 中裝載 lob 的 dbms_lob.loadfromfile() pl/sql 過程
（5）oracle call interface
4 為文本建立索引
文本裝入文本列后，就可以創建oracle text索引。文檔以許多不同方案、格式和語言存儲。因此，每個 oracle text 索引有許多需要設置的選項，以針對特定情況配置索引。創建索引時，oracle text可使用若干個默認值，但在大多數情況下要求用戶通過指定首選項來配置索引。
每個索引的許多選項組成功能組，稱為"類"，每個類集中體現配置的某一方面，可以認為這些類就是與文檔數據庫有關的一些問題。例如：數據存儲、過濾器、詞法分析器、相關詞表、存儲等。
每個類具有許多預定義的行為，稱之為對象。每個對象是類問題可能具有的答案，并且大多數對象都包含有屬性。通過屬性來定制對象，從而使對索引的配置更加多變以適應于不同的應用。
（1）存儲（storage）類
存儲類指定構成oracle text索引的數據庫表和索引的表空間參數和創建參數。它僅有一個基本對象：basic_storage，其屬性包括：i_index_clause、i_table_clause、k_table_clause、n_table_clause、p_table_clause、r_table_clause。
（2）數據存儲（datastore）類
數據存儲：關于列中存儲文本的位置和其他信息。默認情況下，文本直接存儲到列中，表中的每行都表示一個單獨的完整文檔。其他數據存儲位置包括存儲在單獨文件中或以其 url 標識的 web 頁上。七個基本對象包括：default_datastore、detail_datastore、direct_datastore、file_datastore、multi_column_datastore 、url_datastore、user_datastore，。
（3）文檔段組（section group）類
文檔段組是用于指定一組文檔段的對象。必須先定義文檔段，然后才能使用索引通過 within 運算符在文檔段內進行查詢。文檔段定義為文檔段組的一部分。包含七個基本對象：auto_section_group、basic_section_group、html_section_group、news_section_group、null_section_group、xml_section_group、path_section_group。
（4）相關詞表（wordlist）類
相關詞表標識用于索引的詞干和模糊匹配查詢選項的語言，只有一個基本對象basic_wordlist，其屬性有：fuzzy_match、fuzzy_numresults、fuzzy_score、stemmer、substring_index、wildcard_maxterms、prefix_index、prefix_max_length、prefix_min_length。
（5）索引集（index set）
索引集是一個或多個oracle 索引 (不是oracle text索引) 的集合，用于創建 ctxcat類型的oracle text索引，只有一個基本對象basic_index_set。
（6）詞法分析器（lexer）類
詞法分析器類標識文本使用的語言，還確定在文本中如何標識標記。默認的詞法分析器是英語或其他西歐語言，用空格、標準標點和非字母數字字符標識標記，同時禁用大小寫。包含8個基本對象：basic_lexer、chinese_lexer、chinese_vgram_lexer、japanese_lexer、japanese_vgram_lexer、korean_lexer、korean__morph_ lexer、multi_lexer。
（7）過濾器（filter）類
過濾器確定如何過濾文本以建立索引。可以使用過濾器對文字處理器處理的文檔、格式化的文檔、純文本和 html 文檔建立索引，包括5個基本對象：charset_filter、inso_filter inso、null_filter、procedure_filter、user_filter。
（8）非索引字表（stoplist）類
非索引字表類是用以指定一組不編入索引的單詞 (稱為非索引字)。有兩個基本對象：basic_stoplist (一種語言中的所有非索引字) 、 multi_stoplist (包含多種語言中的非索引字的多語言非索引字表)。
5 查詢
建立了索引，就可以使用 select 語句中的 contains 運算符發出文本查詢。使用 contains 可以進行兩種查詢：單詞查詢和about查詢。
5．1 詞查詢示例
詞查詢是對輸入到 contains 運算符中單引號間的精確單詞或短語的查詢。在以下示例中，我們將查找文本列中包含 oracle 一詞的所有文檔。每行的分值由使用標簽 1 的 score 運算符選定：
select score(1) title from news where contains(text, 'oracle', 1) > 0;
在查詢表達式中，可以使用 and 和 or 等文本運算符來獲取不同結果。還可以將結構性謂詞添加到 where 子句中。可以使用 count(*)、ctx_query.count_hits 或 ctx_query.explain 來計算查詢的命中 (匹配) 數目。
5．2 about查詢示例
在所有語言中，about查詢增加了某查詢所返回的相關文檔的數目。在英語中，about 查詢可以使用索引的主題詞組件，該組件在默認情況下創建。這樣，運算符將根據查詢的概念返回文檔，而不是僅依據所指定的精確單詞或短語。例如，以下查詢將查找文本列中關于主題 politics 的所有文檔，而不是僅包含 politics 一詞的文檔：
select score(1) title from news where contains(text, 'about(politics)', 1) > 0;
6 顯示滿足查詢條件的文檔
通常，通過使用oracle text查詢應用程序，用戶可查看查詢所返回的文檔。用戶從命中列表中選擇一個文檔，然后應用程序以某種形式顯示該文檔。通過oracle text，可以用不同的方式再現文檔。例如，可以通過突出顯示查詢詞來顯示文檔。突出顯示的查詢詞可以是相關詞查詢中的詞，也可以是英文 about 查詢中的主題詞。
以下是關于輸出效果和用于每個輸出效果的過程的信息：
突出顯示的文檔，純文本格式版本(ctx_doc.markup)
突出顯示的文檔，html版本(ctx_doc.markup)
突出顯示純文本格式版本的偏移量信息(ctx_doc.highlight)
突出顯示html 版本的偏移量信息(ctx_doc.highlight)
純文本格式版本，無突出顯示(ctx_doc.filter)
html版本文檔，無突出顯示(ctx_doc.filter)
7 索引維護
索引建好后，如果表中的數據發生變化，比如增加或修改了記錄，怎么辦？由于對表所發生的任何dml語句，都不會自動修改索引，因此，必須定時同步(sync)和優化(optimize)索引，以正確反映數據的變化。
在索引建好后，可以在該用戶下查到oracle自動產生了以下幾個表：（假設索引名為myindex）：
dr$myindex$i，dr$myindex$k，dr$myindex$r，dr$myindex$n
其中以i表最重要，可以查詢一下該表：
select token_text, token_count from dr$ myindex $i where rownum<=20;
查詢結果在此省略。可以看到，該表中保存的其實就是oracle 分析你的文檔后，生成的term記錄在這里，包括term出現的位置、次數、hash值等。當文檔的內容改變后，可以想見這個i表的內容也應該相應改變，才能保證oracle在做全文檢索時正確檢索到內容（因為所謂全文檢索，其實核心就是查詢這個表）。那么如何維護該表的內容，不能每次數據改變都重新建立索引，這就要用到sync 和 optimize了。
同步（sync）：將新的term 保存到i表；
優化（optimize）：清除i表的垃圾，主要是將已經被刪除的term從i表刪除。
oracle提供了一個所謂的ctx server來做這個同步和優化的工作，只需要在后臺運行這個進程，它會監視數據的變化，及時進行同步。另外，也可以用以下的job來完成（該job要建在和表同一個用戶下）：
create or replace procedure sync
is
begin
execute immediate
'alter index myindex rebuild online' ||
' parameters ( ''sync'' )' ;
execute immediate
'alter index myindex rebuild online' ||
' parameters ( ''optimize full maxtime unlimited'' )' ;
end sync;
/
set serveroutput on
declare
v_job number;
begin
dbms_job.submit
(
job => v_job,
what => 'sync;',
next_date => sysdate, /* default */
interval => 'sysdate + 1/720' /* = 1 day / ( 24 hrs * 30 min) = 2 mins */
);
dbms_job.run ( v_job );
dbms_output.put_line ( 'submitted as job # ' || to_char ( v_job ) );
end;
/
job的sysdate + (1/720)是指每隔2分鐘同步一次。具體的時間間隔，可以根據自己的應用的需要而定。
8 小結
文本對于各種規模的公司、機構組織來說，都是包含眾多豐富信息的最有效載體，oracle text的推出，標志著oracle提供了一套嶄新的技術，可以便捷安全的用于管理企業的文本信息。oracle text使應用程序開發者可以透明地將全文檢索能力加入到基于sql的應用程序中，oracle text也是其他oracle產品的核心組件，比如oracle9ias portal，oracle ebusiness suite，oracle ultra search和oracle internet file system等。靈活運用oracle text提供的全文檢索技術，就可以使自己的應用具備強大的全文檢索能力。
