當(dāng)你有問題要回答時，你通常選擇問誰？現(xiàn)在不知不覺中，很多人的選擇都變成了搜索引擎。天氣、交通路線、圖片、視頻、家庭作業(yè)答案等。搜索引擎可以回答人們在日常生活中遇到的許多問題。即使對很多人來說，如果我們在搜索引擎上找不到答案，這個世界上可能沒有現(xiàn)成的答案，所以我們需要自己去探索。這樣，搜索引擎似乎是最強大的人工智能。20年前，它就一直生活在我們身邊。搜索引擎是如何一步步變得如此強大的，它下一步將朝哪個方向發(fā)展？本文僅從搜索引擎的發(fā)展入手。搜索引擎的誕生和發(fā)展搜索引擎的誕生源于早期人們對在互聯(lián)網(wǎng)上高效搜索信息的需求。早期使用傳統(tǒng)圖書館信息檢索技術(shù)的搜索引擎已經(jīng)不能滿足每個人的需求。網(wǎng)頁排序的準確性、響應(yīng)速度和索引網(wǎng)頁的數(shù)量都不能滿足互聯(lián)網(wǎng)用戶的需求。在新的需求下，出現(xiàn)了幾種常見的通用搜索引擎：谷歌、微軟必應(yīng)、雅虎（雅虎使用微軟必應(yīng)作為其搜索技術(shù)提供商）和百度。其中大多數(shù)是2000年左右成立的。在這些搜索引擎誕生之初，大數(shù)據(jù)、機器學(xué)習(xí)和分布式系統(tǒng)這三個詞就與它們緊密相連。首先，現(xiàn)代搜索引擎充分利用了互聯(lián)網(wǎng)數(shù)據(jù)的特點。網(wǎng)頁之間的超鏈接和網(wǎng)民在網(wǎng)頁上自發(fā)留下的足跡，如產(chǎn)品評論和喜歡，已經(jīng)成為搜索引擎更好地對網(wǎng)頁進行排序的基礎(chǔ)。同時，搜索引擎的系統(tǒng)設(shè)計也使其成為一個能夠不斷學(xué)習(xí)和完善自身的系統(tǒng)。搜索引擎根據(jù)用戶對相關(guān)結(jié)果的點擊行為來評估其算法的質(zhì)量。微軟基于機器學(xué)習(xí)算法的分類系統(tǒng)一直在不斷學(xué)習(xí)和總結(jié)不同用戶對搜索引擎的反饋。2005年，它提出了一系列基于神經(jīng)網(wǎng)絡(luò)和決策樹的網(wǎng)頁排序算法：ranknet、lambdarank和lambdamart。這些算法基于大規(guī)模機器學(xué)習(xí)系統(tǒng)，提高了搜索引擎的排序精度。同時，機器學(xué)習(xí)算法還具有許多其他應(yīng)用，如檢測垃圾郵件網(wǎng)頁、提高搜索廣告的相關(guān)性等。除了上述算法的進步外，系統(tǒng)層面的不斷創(chuàng)新也有助于搜索引擎的進步。在成立之初，谷歌率先進行了系統(tǒng)創(chuàng)新，將所有網(wǎng)頁信息保存在計算機內(nèi)存中，而不是磁盤上，這樣可以將回答用戶問題的時間從幾秒鐘縮短到幾毫秒。自2008年以來，微軟Bing搜索引擎根據(jù)SSD的特點重新設(shè)計了網(wǎng)頁索引結(jié)構(gòu)。新的多級索引結(jié)構(gòu)不僅可以確保查詢速度與全內(nèi)存系統(tǒng)相當(dāng)，還可以將單機支持的網(wǎng)頁數(shù)量和查詢吞吐量提高數(shù)十倍，從而確保搜索引擎能夠索引和服務(wù)互聯(lián)網(wǎng)上更多的網(wǎng)頁。大數(shù)據(jù)系統(tǒng)與搜索引擎的發(fā)展息息相關(guān)。為了更方便地存儲和處理web信息，Google推出的MapReduce、BigTable、GFS等著名分布式系統(tǒng)拉開了大數(shù)據(jù)時代的帷幕。與此同時，微軟還部署了cosmos、Dryad、scope、Kirin等系統(tǒng)。Dryad和scope系統(tǒng)由于其更具前瞻性的設(shè)計概念，已成為新一代大數(shù)據(jù)處理系統(tǒng)的參考設(shè)計模板。更多人工智能的搜索體驗、機器學(xué)習(xí)算法的不斷進步、搜索引擎巧妙的人機交互設(shè)計、分布式系統(tǒng)的創(chuàng)新，使搜索引擎在不知不覺中成為人們生活中不可或缺的一部分。同時，隨著人們新需求的不斷涌現(xiàn)，搜索引擎也沒有停止變革的步伐。一方面，搜索引擎試圖以不同的形式向您展示自己。例如，Cortana、Siri和googlenow等對話智能交互技術(shù)離不開搜索引擎的支持。與此同時，它正在不斷擴大其新的能力。如果您足夠小心，您可能會發(fā)現(xiàn)當(dāng)前的搜索引擎可以更直接地回答您搜索的特定問題。例如，在搜索結(jié)果頁面的右側(cè)，將顯示與您的搜索相關(guān)的其他類似實體的信息。在頁面頂部，一些結(jié)果（如天氣、航班和其他信息）將以更豐富的形式提供答案。最近，一個更有趣的變化是，搜索引擎開始嘗試直接回答許多基于知識的問題，而不是提供一些web鏈接。例如，當(dāng)你問如何制作美味的假日小吃以及如何安裝新軟件時，微軟必應(yīng)搜索可以直接給出答案。搜索引擎是如何做到這一點的？要回答這個問題，我們必須提到過去一段時間在深度學(xué)習(xí)領(lǐng)域的研究進展。搜索引擎通過大量數(shù)據(jù)，使用dnn/rnn等新算法更好地理解網(wǎng)頁內(nèi)容與用戶問題之間的關(guān)系，從而幫助用戶直接找到網(wǎng)頁中與問題相關(guān)的答案。Maluuba是微軟最近收購的一家深度學(xué)習(xí)初創(chuàng)公司，由著名深度學(xué)習(xí)專家yoshuabengio執(zhí)導(dǎo)，其目標也是加強微軟在深度閱讀理解領(lǐng)域的實力。在深入理解文本方面，微軟的研究團隊也處于領(lǐng)先地位。隨著算法的發(fā)展，搜索引擎的背景也在迅速演變。為了支持以深度學(xué)習(xí)為代表的新一代機器學(xué)習(xí)算法，GPU、FPGA和定制的ASIC芯片逐漸進入搜索引擎的數(shù)據(jù)中心。索引和排序服務(wù)系統(tǒng)也在不斷發(fā)展，以滿足算法的處理能力要求。為了實時處理更多的大規(guī)模數(shù)據(jù)，超低延遲網(wǎng)絡(luò)也得到了廣泛的應(yīng)用。智能搜索引擎的下一個目標上述所有這些努力都是為了更好地滿足人們對搜索引擎的需求。但搜索引擎真的能完全理解人類所有的知識系統(tǒng)嗎？它的下一個任務(wù)是什么？顯然，目前，搜索引擎已經(jīng)能夠更好地匯總互聯(lián)網(wǎng)上的信息以滿足您的搜索請求，并且可以直接回答一些常見的問題。然而，搜索引擎是否能夠真正理解這些信息的內(nèi)在含義，是否能夠創(chuàng)造性地解決以前從未出現(xiàn)過的問題，是否能夠有效地進行自我演繹，仍不得而知。但有一件事是肯定的。更具創(chuàng)造性的機器學(xué)習(xí)算法、更強大的計算能力和創(chuàng)新的人機交互是一切的基礎(chǔ)。這也是業(yè)界和學(xué)術(shù)界共同努力的方向。

« 教育直播，現(xiàn)在和未來的創(chuàng)業(yè)機會在哪里？怎樣 | 推特出了什么問題：兩位高管寧愿放棄3500萬美元的股份也不愿離開 »