深入研究之搜索引擎的架構與細節(jié)

上一節(jié)課，我們了解到：什么是SEO？什么是搜索引擎原理（見本人拙文《不了解搜索引擎原理？你怎么做SEO優(yōu)化》）？本文，我們將深入了解搜索引擎的架構與細節(jié)。做SEO優(yōu)化的多懂些搜索引擎方面的知識，對于優(yōu)化是很有幫助的。

一、全網搜索引擎架構與流程

全網搜索引擎的宏觀架構如上圖，核心系統(tǒng)主要分為三部分（粉色部分）：

1、spider爬蟲系統(tǒng)；

2、search&index建立索引與查詢索引系統(tǒng)，這個系統(tǒng)又主要分為兩部分：

• 一部分用于生成索引數據build_index；

• 一部分用于查詢索引數據search_index。

3、rank打分排序系統(tǒng)。

核心數據主要分為兩部分（紫色部分）：

• web網頁庫；

• index索引數據。

全網搜索引擎的業(yè)務特點決定了，這是一個“寫入”和“檢索”完全分離的系統(tǒng)：

【寫入】

系統(tǒng)組成：由spider與search&index兩個系統(tǒng)完成

輸入：站長們生成的互聯網網頁

輸出：正排倒排索引數據

流程：如架構圖中的1、2、3、4

• spider把互聯網網頁抓過來；

• spider把互聯網網頁存儲到網頁庫中（這個對存儲的要求很高，要存儲幾乎整個“萬維網”的鏡像）；

• build_index從網頁庫中讀取數據，完成分詞；

• build_index生成倒排索引。

【檢索】

系統(tǒng)組成：由search&index與rank兩個系統(tǒng)完成

輸入：用戶的搜索詞

輸出：排好序的第一頁檢索結果

流程：如架構圖中的a，b，c，d

• search_index獲得用戶的搜索詞，完成分詞；

• search_index查詢倒排索引，獲得“字符匹配”網頁，這是初篩的結果；

• rank對初篩的結果進行打分排序；

• rank對排序后的第一頁結果返回。

二、站內搜索引擎架構與流程

做全網搜索的公司畢竟是少數，絕大部分公司要實現的其實只是一個站內搜索，站內搜索引擎的宏觀架構和全網搜索引擎的宏觀架構有什么異同？以58同城100億帖子的搜索為例，站內搜索系統(tǒng)架構長啥樣？站內搜索流程是怎么樣的？

站內搜索引擎的宏觀架構如上圖，與全網搜索引擎的宏觀架構相比，差異只有寫入的地方：

1、全網搜索需要spider要被動去抓取數據；

2、站內搜索是內部系統(tǒng)生成的數據，例如“發(fā)布系統(tǒng)”會將生成的帖子主動推給build_data系統(tǒng)。

看似“很小”的差異，架構實現上難度卻差很多：全網搜索如何“實時”發(fā)現“全量”的網頁是非常困難的，而站內搜索容易實時得到全部數據。

對于spider、search&index、rank三個系統(tǒng)：

1、spider和search&index是相對獨立的系統(tǒng)；

2、rank是和業(yè)務、策略緊密、算法相關的系統(tǒng)，搜索體驗的差異主要在此，而業(yè)務、策略的優(yōu)化是需要時間積累的，這里的啟示是：

• Google的體驗比Baidu好，根本在于前者rank牛逼；

• 國內互聯網公司（例如360）短時間要搞一個體驗超越Baidu的搜索引擎，是很難的，真心需要時間的積累。

三、搜索原理與核心數據結構

1、什么是正排索引（forward index）?

由key查詢實體的過程，是正排索引。

用戶表：t_user(uid, name, passwd, age, sex)，由uid查詢整行的過程，就是正排索引查詢。

網頁庫：t_web_page(url, page_content)，由url查詢整個網頁的過程，也是正排索引查詢。

網頁內容分詞后，page_content會對應一個分詞后的集合list<item>。

簡易的，正排索引可以理解為Map<url, list<item>>，能夠由網頁快速（時間復雜度O(1)）找到內容的一個數據結構。

2、什么是倒排索引（inverted index）？

由item查詢key的過程，是倒排索引。

對于網頁搜索，倒排索引可以理解為Map<item, list<url>>，能夠由查詢詞快速（時間復雜度O(1)）找到包含這個查詢詞的網頁的數據結構。

舉個例子，假設有3個網頁：

url1 -> “我愛北京”

url2 -> “我愛到家”

url3 -> “到家美好”

這是一個正排索引Map<url, page_content>。

分詞之后：

url1 -> {我，愛，北京}

url2 -> {我，愛，到家}

url3 -> {到家，美好}

這是一個分詞后的正排索引Map<url, list<item>>。

分詞后倒排索引：

我 -> {url1, url2}

愛 -> {url1, url2}

北京 -> {url1}

到家 -> {url2, url3}

美好 -> {url3}

由檢索詞item快速找到包含這個查詢詞的網頁Map<item, list<url>>就是倒排索引。

正排索引和倒排索引是spider和build_index系統(tǒng)提前建立好的數據結構，為什么要使用這兩種數據結構，是因為它能夠快速的實現“用戶網頁檢索”需求（業(yè)務需求決定架構實現）。

3、搜索的過程是什么樣的？

假設搜索詞是“我愛”，用戶會得到什么網頁呢？

• 分詞，“我愛”會分詞為{我，愛}，時間復雜度為O(1)；

• 每個分詞后的item，從倒排索引查詢包含這個item的網頁list<url>，時間復雜度也是O(1)：

我 -> {url1, url2}

愛 -> {url1, url2}

• 求list<url>的交集，就是符合所有查詢詞的結果網頁，對于這個例子，{url1, url2}就是最終的查詢結果.

看似到這里就結束了，其實不然，分詞和倒排查詢時間復雜度都是O(1)，整個搜索的時間復雜度取決于“求list<url>的交集”，問題轉化為了求兩個集合交集。

字符型的url不利于存儲與計算，一般來說每個url會有一個數值型的url_id來標識，后文為了方便描述，list<url>統(tǒng)一用list<url_id>替代。

四、list1和list2，求交集怎么求？

1、方案一：for * for，土辦法，時間復雜度O(n*n)

每個搜索詞命中的網頁是很多的，O(n*n)的復雜度是明顯不能接受的。倒排索引是在創(chuàng)建之初可以進行排序預處理，問題轉化成兩個有序的list求交集，就方便多了。

2、方案二：有序list求交集，拉鏈法

有序集合1{1,3,5,7,8,9}

有序集合2{2,3,4,5,6,7}

兩個指針指向首元素，比較元素的大小：

如果相同，放入結果集，隨意移動一個指針；

否則，移動值較小的一個指針，直到隊尾。

這種方法的好處是：

集合中的元素最多被比較一次，時間復雜度為O(n)；

多個有序集合可以同時進行，這適用于多個分詞的item求url_id交集。

這個方法就像一條拉鏈的兩邊齒輪，一一比對就像拉鏈，故稱為拉鏈法。

3、方案三：分桶并行優(yōu)化

數據量大時，url_id分桶水平切分+并行運算是一種常見的優(yōu)化方法，如果能將list1<url_id>和list2<url_id>分成若干個桶區(qū)間，每個區(qū)間利用多線程并行求交集，各個線程結果集的并集，作為最終的結果集，能夠大大的減少執(zhí)行時間。

舉例：

有序集合1{1,3,5,7,8,9, 10,30,50,70,80,90}

有序集合2{2,3,4,5,6,7, 20,30,40,50,60,70}

求交集，先進行分桶拆分：

桶1的范圍為[1, 9]

桶2的范圍為[10, 100]

桶3的范圍為[101, max_int]

于是：

集合1就拆分成

集合a{1,3,5,7,8,9}

集合b{10,30,50,70,80,90}

集合c{}

集合2就拆分成

集合d{2,3,4,5,6,7}

集合e{20,30,40,50,60,70}

集合e{}

每個桶內的數據量大大降低了，并且每個桶內沒有重復元素，可以利用多線程并行計算：

桶1內的集合a和集合d的交集是x{3,5,7}

桶2內的集合b和集合e的交集是y{30, 50, 70}

桶3內的集合c和集合d的交集是z{}

最終，集合1和集合2的交集，是x與y與z的并集，即集合{3,5,7,30,50,70}

4、方案四：bitmap再次優(yōu)化

數據進行了水平分桶拆分之后，每個桶內的數據一定處于一個范圍之內，如果集合符合這個特點，就可以使用bitmap來表示集合：

如上圖，假設set1{1,3,5,7,8,9}和set2{2,3,4,5,6,7}的所有元素都在桶值[1, 16]的范圍之內，可以用16個bit來描述這兩個集合，原集合中的元素x，在這個16bitmap中的第x個bit為1，此時兩個bitmap求交集，只需要將兩個bitmap進行“與”操作，結果集bitmap的3，5，7位是1，表明原集合的交集為{3,5,7}

水平分桶，bitmap優(yōu)化之后，能極大提高求交集的效率，但時間復雜度仍舊是O(n)

bitmap需要大量連續(xù)空間，占用內存較大。

5、方案五：跳表skiplist

有序鏈表集合求交集，跳表是最常用的數據結構，它可以將有序集合求交集的復雜度由O(n)降至O(log(n))

集合1{1,2,3,4,20,21,22,23,50,60,70}

集合2{50,70}

要求交集，如果用拉鏈法，會發(fā)現1,2,3,4,20,21,22,23都要被無效遍歷一次，每個元素都要被比對，時間復雜度為O(n)，能不能每次比對“跳過一些元素”呢？

跳表就出現了：

集合1{1,2,3,4,20,21,22,23,50,60,70}建立跳表時，一級只有{1,20,50}三個元素，二級與普通鏈表相同

集合2{50,70}由于元素較少，只建立了一級普通鏈表

如此這般，在實施“拉鏈”求交集的過程中，set1的指針能夠由1跳到20再跳到50，中間能夠跳過很多元素，無需進行一一比對，跳表求交集的時間復雜度近似O(log(n))，這是搜索引擎中常見的算法。

五、總結

文字很多，有宏觀，有細節(jié)，對于大部分不是專門研究搜索引擎的同學，記住以下幾點即可：

• 全網搜索引擎系統(tǒng)由spider， search&index， rank三個子系統(tǒng)構成；

• 站內搜索引擎與全網搜索引擎的差異在于，少了一個spider子系統(tǒng)；

• spider和search&index系統(tǒng)是兩個工程系統(tǒng)，rank系統(tǒng)的優(yōu)化卻需要長時間的調優(yōu)和積累；

• 正排索引（forward index）是由網頁url_id快速找到分詞后網頁內容list<item>的過程；

• 倒排索引（inverted index）是由分詞item快速尋找包含這個分詞的網頁list<url_id>的過程；

• 用戶檢索的過程，是先分詞，再找到每個item對應的list<url_id>，最后進行集合求交集的過程；

有序集合求交集的方法有

• 二重for循環(huán)法，時間復雜度O(n*n)；

• 拉鏈法，時間復雜度O(n)；

• 水平分桶，多線程并行；

• bitmap，大大提高運算并行度，時間復雜度O(n)；

• 跳表，時間復雜度為O(log(n))。

好了，今天我們就分享到這里，下一篇我們講解更多精彩短文，很值得期待哦！有興趣的小伙伴們關注遨游建站移動站（m.aoyouwl.com）經常更新建站、優(yōu)化等眾多網絡前沿知識。

本文撰寫參考：

搜索引擎原理 https://baike.baidu.com/item/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E5%8E%9F%E7%90%86/11054474?fr=aladdin