資訊專欄INFORMATION COLUMN
摘要：最初使用的是，一個國人在基礎上添加了分詞的搜索引擎，可惜后來不再更新，的版本太低，也會出現后來也使用最新的，它可以支持幾乎所有語言，通過其內置的對中文進行索引和搜索。基于以上弊端，為中日韓文本加入分詞的是很有必要的。
Sphinx search 是一款非常棒的開源全文搜索引擎，它使用C++開發，索引和搜索的速度非常快，我使用sphinx的時間也有好多年了。最初使用的是coreseek，一個國人在sphinxsearch基礎上添加了mmseg分詞的搜索引擎，可惜后來不再更新，sphinxsearch的版本太低，bug也會出現；后來也使用最新的sphinxsearch，它可以支持幾乎所有語言，通過其內置的ngram tokenizer對中文進行索引和搜索。
但是，像中文、日文、韓文這種文字使用ngram還是有很大弊端的：
當Ngram=1時，中文（日文、韓文）被分解成一個個的單字，就像把英文分解成一個個字母那樣。這會導致每個單字的索引很長，搜索效率下降，同時搜索結果習慣性比較差。
當Ngram=2或更大時，會產生很多無意義的“組合”，比如“的你”、“為什”等，導致索引的字典、索引文件等非常大，同時也影響搜索速度。
基于以上弊端，為中日韓文本加入分詞的tokenizer是很有必要的。
于是決定來做這件事。先去Sphinxsearch網站去看看，發現它已經發布了新的3.x版本，而且加入了很多很棒的特性，然而它從Sphinxsearch 3.x 開始，暫時不再開源. 不過，部分前Sphinxsearch的開發人員跳出來成立新團隊，在Sphinx 2.x版本基礎上開發自己的Manticoresearch。這兩者很像，從它們的名字就可以看出來，這倆都是獅身怪獸。
Sphinx 是（古埃及）獅身人面像，Manticore 是（傳說中的）人頭獅身龍（蝎）尾怪獸
Manticoresearch 從Sphinxsearch 繼承而來， 并做了性能優化. 因此，我選擇了Manticoresearch 來添加中日韓分詞。
首先從Manticoresearch的github倉庫pull最新的代碼來談價，后面我也會盡力與Manticoresearch的主分支保持同步。
算法實現
算法基于字典，具體是cedar的實現的雙數組trie。cedar是C++實現的高效雙數組trie，也是分詞字典的最佳之選。cedar的協議是GNU GPLv2, LGPLv2.1, and BSD;或者email聯系作者所要其它協議。
通過最小匹配（而非單字）來匹配字典和字符串，把字符串分割成最短（而非單字）的詞。如果遇到處理不了的歧義時，以單字做詞。這樣的目的是，保證搜索時能找到這些內容而不丟失。
稍微解釋一下，對于搜索引擎的分詞為什么這么做：
搜索引擎要能找到盡可能全內容：最徹底的方法是ngram=1，每個字多帶帶索引，這樣你搜索一個單字“榴”時，含有“榴蓮”的文本會被找到，但缺點就如前面所說。
搜索引擎要能找到盡可能相關的內容： 分詞就是比較好的方法，對詞進行索引，這樣你搜索一個單字“榴”時，含有“榴蓮”的文本就不會被找到。但分詞的粒度要小，比如“編程語言”這是一個詞組，如果把這個分成一個詞，你搜索“編程”時，就找不到只含“編程語言”的文本，同樣的，“上海市”要分成“上海”和“市”，等等。所以，“最小匹配”適用于搜索引擎。
編譯安裝
從github倉庫manticoresearch-seg獲取源碼，編譯方法跟Manticoresearch一樣，具體看官方文檔。
使用方法
準備詞表 把所有詞寫到一個txt文件，一行一個詞，如下所示：
words.txt中文
中國語
???
創建字典 成功編譯代碼后，就會得到創建字典的可執行程序make_segdictionary. 然后執行命令:
./make_segdictionary words.txt words.dict
這樣就得到了字典文件: words.dict
配置索引 只需在配置文件的 index {...} 添加一行即可：
index {
... seg_dictionary = path-to-your-segmentation-words-dictionary ...
}
提醒: 分詞對批量索引和實時索引都起作用。
吐槽
添加分詞最初的想法是，我的代碼作為新增文件加入項目，只在原有文件個別處添加就好。這樣做分得比較清楚，后面對manticore官方倉庫提交代碼也比較清晰。于是就嘗試這樣做。
然而，Sphinx的代碼組織的真是有點亂，Manticore沿用Sphinx的代碼所以架構是一樣的。最大的一個cpp文件sphinx.cpp 竟然有3萬多行代碼，很多類的聲明直接放在這個.cpp 文件里面，而沒有放到頭文件sphinx.h里面。 因為我實現的分詞tokenizer必須要繼承它的類保持接口一致。嘗試著把cpp文件的一些聲明移到.h文件，結果是越移越多，要對原始文件做很大改動，甚至可能要重新架構源代碼。不是不可以重新架構，一來會很費時間，二來向官方提交代碼很難被接受，三是跟官方代碼保持同步就很費勁，最終還是在原來sphinx.cpp文件中添加分詞tokenizer: CSphTokenizer_UTF8Seg 。
當然，Sphinx的代碼的類的繼承關系比較清晰，繼承原來的tokenizer實現新的也不算費事，修改了4個源碼文件就添加好了分詞tokenizer。
文章首發于我的個人博客猿人學
你也可以關注我的個人公眾號：猿人學Python
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43516.html
摘要：此文成于年月現狀目前的穩定版本為目前對英文等字母語言采用空格分詞故其對中文分詞支持不好目前官方中文分詞方案僅支持按單字分詞在基礎上目前國內有兩個中文分詞解決方案一個是一個是沒有官網文檔較少可查到的最新版本可支持官方還在維護但貌似不打 NOTE : 此文成于 2017 年 3 月. 現狀: Sphinx 目前的穩定版本為 2.2.11.Sphinx 目前對英文等字母語言采用空格分詞,故...
摘要：此文成于年月現狀目前的穩定版本為目前對英文等字母語言采用空格分詞故其對中文分詞支持不好目前官方中文分詞方案僅支持按單字分詞在基礎上目前國內有兩個中文分詞解決方案一個是一個是沒有官網文檔較少可查到的最新版本可支持官方還在維護但貌似不打 NOTE : 此文成于 2017 年 3 月. 現狀: Sphinx 目前的穩定版本為 2.2.11.Sphinx 目前對英文等字母語言采用空格分詞,故...
摘要：簡介是開源的搜索引擎，它支持英文的全文檢索。但是往往我們要求的是中文索引，怎么做呢國人提供了一個可供企業使用的，基于的中文全文檢索引擎。 Sphinx 簡介 Sphinx是開源的搜索引擎，它支持英文的全文檢索。所以如果單獨搭建Sphinx，你就已經可以使用全文索引了。但是往往我們要求的是中文索引，怎么做呢？國人提供了一個可供企業使用的，基于Sphinx的中文全文檢索引擎。也就是說Cor...
摘要：簡介是開源的搜索引擎，它支持英文的全文檢索。但是往往我們要求的是中文索引，怎么做呢國人提供了一個可供企業使用的，基于的中文全文檢索引擎。 Sphinx 簡介 Sphinx是開源的搜索引擎，它支持英文的全文檢索。所以如果單獨搭建Sphinx，你就已經可以使用全文索引了。但是往往我們要求的是中文索引，怎么做呢？國人提供了一個可供企業使用的，基于Sphinx的中文全文檢索引擎。也就是說Cor...
閱讀 1015·2021-10-19 11:42
閱讀 2973·2021-09-10 10:51
閱讀 677·2021-09-09 09:33
閱讀 1760·2021-09-01 10:43
閱讀 2768·2019-08-30 12:43
閱讀 3516·2019-08-30 11:24
閱讀 2114·2019-08-30 10:56
閱讀 2777·2019-08-29 11:00
