這篇文章主要介紹了對JavaScript的全文搜索實現相關度評分的功能的方法,采用了一個名為Okapi BM25的算法,文中亦有介紹,需要的朋友可以參考下

　　全文搜索，與機器學習領域其他大多數問題不同，是一個 Web 程序員在日常工作中經常遇到的問題。客戶可能要求你在某個地方提供一個搜索框，然后你會寫一個類似 WHERE title LIKE %:query% 的 SQL 語句實現搜索功能。一開始，這是沒問題，直到有一天，客戶找到你跟你說，“搜索出錯啦!”

　　當然，實際上搜索并沒有“出錯”，只是搜索的結果并不是客戶想要的。一般的用戶并不清楚如何做精確匹配，所以得到的搜索結果質量很差。為了解決問題，你決定使用全文搜索。經過一陣枯燥的學習，你開啟了 MySQL 的 FULLTEXT 索引，并使用了更高級的查詢語法，如 “MATCH() … AGAINST()” 。

　　好了，問題解決，完結撒花!數據庫規模不大的時候是沒問題了。

　　但是當你的數據越來越多時，你會發現你的數據庫也越來越慢了。MySQL 不是一個非常好用的全文搜索工具。所以你決定使用 ElasticSearch，重構代碼，并部署 Lucene 驅動的全文搜索集群。你會發現它工作的非常好，又快又準確。

　　這時你不禁會想：為什么 Lucene 這么牛逼呢?

　　本篇文章(主要介紹 TF-IDF，Okapi BM-25 和普通的相關性評分 )和 下一篇文章 (主要介紹索引)將為你講述全文搜索背后的基本概念。

　　相關性

　　對每一個搜索查詢，我們很容易給每個文檔定義一個“相關分數”。當用戶進行搜索時，我們可以使用相關分數進行排序而不是使用文檔出現時間來進行排序。這樣，最相關的文檔將排在第一個，無論它是多久之前創建的(當然，有的時候和文檔的創建時間也是有關的)。

　　有很多很多種計算文字之間相關性的方法，但是我們要從最簡單的、基于統計的方法說起。這種方法不需要理解語言本身，而是通過統計詞語的使用、匹配和基于文檔中特有詞的普及率的權重等情況來決定“相關分數”。

　　這個算法不關心詞語是名詞還是動詞，也不關心詞語的意義。它唯一關心的是哪些是常用詞，那些是稀有詞。如果一個搜索語句中包括常用詞和稀有詞，你最好讓包含稀有詞的文檔的評分高一些，同時降低常用詞的權重。

　　這個算法被稱為Okapi BM25。它包含兩個基本概念 詞語頻率(term frequency) 簡稱詞頻(“TF”) 和 文檔頻率倒數(inverse document frequency) 簡寫為(“IDF”). 把它們放到一起，被稱為 “TF-IDF”，這是一種統計學測度，用來表示一個詞語 (term) 在文檔中有多重要。

　　TF-IDF

　　詞語頻率( Term Frequency), 簡稱 “TF”, 是一個很簡單的度量標準：一個特定的詞語在文檔出現的次數。你可以把這個值除以該文檔中詞語的總數，得到一個分數。例如文檔中有 100 個詞， ‘the' 這個詞出現了 8 次，那么 'the' 的 TF 為 8 或 8/100 或 8%(取決于你想怎么表示它)。

　　逆向文件頻率(Inverse Document Frequency), 簡稱 “IDF”，要復雜一些：一個詞越稀有，這個值越高。它由總文件數目除以包含該詞語之文件的數目，再將得到的商取對數得到。越是稀有的詞，越會產生高的 “IDF”。

　　如果你將這兩個數字乘到一起 (TF*IDF), 你將會得到一個詞語在文檔中的權重。“權重”的定義是：這個詞有多稀有并且在文檔中出現的多么頻繁?

　　你可以將這個概念用于文檔的搜索查詢。在查詢中的對于查詢中的每個關鍵字，計算他們的 TF-IDF 分數，并把它們相加。得分最高的就是與查詢語句最符合的文檔。

　　很酷吧!