當(dāng)你有問(wèn)題要回答時(shí)，你通常選擇問(wèn)誰(shuí)？現(xiàn)在不知不覺(jué)中，很多人的選擇都變成了搜索引擎。天氣、交通路線、圖片、視頻、家庭作業(yè)答案等。搜索引擎可以回答人們?cè)谌粘Ｉ钪杏龅降脑S多問(wèn)題。即使對(duì)很多人來(lái)說(shuō)，如果我們?cè)谒阉饕嫔险也坏酱鸢?，這個(gè)世界上可能沒(méi)有現(xiàn)成的答案，所以我們需要自己去探索。這樣，搜索引擎似乎是最強(qiáng)大的人工智能。20年前，它就一直生活在我們身邊。搜索引擎是如何一步步變得如此強(qiáng)大的，它下一步將朝哪個(gè)方向發(fā)展？本文僅從搜索引擎的發(fā)展入手。搜索引擎的誕生和發(fā)展搜索引擎的誕生源于早期人們對(duì)在互聯(lián)網(wǎng)上高效搜索信息的需求。早期使用傳統(tǒng)圖書館信息檢索技術(shù)的搜索引擎已經(jīng)不能滿足每個(gè)人的需求。網(wǎng)頁(yè)排序的準(zhǔn)確性、響應(yīng)速度和索引網(wǎng)頁(yè)的數(shù)量都不能滿足互聯(lián)網(wǎng)用戶的需求。在新的需求下，出現(xiàn)了幾種常見(jiàn)的通用搜索引擎：谷歌、微軟必應(yīng)、雅虎（雅虎使用微軟必應(yīng)作為其搜索技術(shù)提供商）和百度。其中大多數(shù)是2000年左右成立的。在這些搜索引擎誕生之初，大數(shù)據(jù)、機(jī)器學(xué)習(xí)和分布式系統(tǒng)這三個(gè)詞就與它們緊密相連。首先，現(xiàn)代搜索引擎充分利用了互聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)。網(wǎng)頁(yè)之間的超鏈接和網(wǎng)民在網(wǎng)頁(yè)上自發(fā)留下的足跡，如產(chǎn)品評(píng)論和喜歡，已經(jīng)成為搜索引擎更好地對(duì)網(wǎng)頁(yè)進(jìn)行排序的基礎(chǔ)。同時(shí)，搜索引擎的系統(tǒng)設(shè)計(jì)也使其成為一個(gè)能夠不斷學(xué)習(xí)和完善自身的系統(tǒng)。搜索引擎根據(jù)用戶對(duì)相關(guān)結(jié)果的點(diǎn)擊行為來(lái)評(píng)估其算法的質(zhì)量。微軟基于機(jī)器學(xué)習(xí)算法的分類系統(tǒng)一直在不斷學(xué)習(xí)和總結(jié)不同用戶對(duì)搜索引擎的反饋。2005年，它提出了一系列基于神經(jīng)網(wǎng)絡(luò)和決策樹(shù)的網(wǎng)頁(yè)排序算法：ranknet、lambdarank和lambdamart。這些算法基于大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)，提高了搜索引擎的排序精度。同時(shí)，機(jī)器學(xué)習(xí)算法還具有許多其他應(yīng)用，如檢測(cè)垃圾郵件網(wǎng)頁(yè)、提高搜索廣告的相關(guān)性等。除了上述算法的進(jìn)步外，系統(tǒng)層面的不斷創(chuàng)新也有助于搜索引擎的進(jìn)步。在成立之初，谷歌率先進(jìn)行了系統(tǒng)創(chuàng)新，將所有網(wǎng)頁(yè)信息保存在計(jì)算機(jī)內(nèi)存中，而不是磁盤上，這樣可以將回答用戶問(wèn)題的時(shí)間從幾秒鐘縮短到幾毫秒。自2008年以來(lái)，微軟Bing搜索引擎根據(jù)SSD的特點(diǎn)重新設(shè)計(jì)了網(wǎng)頁(yè)索引結(jié)構(gòu)。新的多級(jí)索引結(jié)構(gòu)不僅可以確保查詢速度與全內(nèi)存系統(tǒng)相當(dāng)，還可以將單機(jī)支持的網(wǎng)頁(yè)數(shù)量和查詢吞吐量提高數(shù)十倍，從而確保搜索引擎能夠索引和服務(wù)互聯(lián)網(wǎng)上更多的網(wǎng)頁(yè)。大數(shù)據(jù)系統(tǒng)與搜索引擎的發(fā)展息息相關(guān)。為了更方便地存儲(chǔ)和處理web信息，Google推出的MapReduce、BigTable、GFS等著名分布式系統(tǒng)拉開(kāi)了大數(shù)據(jù)時(shí)代的帷幕。與此同時(shí)，微軟還部署了cosmos、Dryad、scope、Kirin等系統(tǒng)。Dryad和scope系統(tǒng)由于其更具前瞻性的設(shè)計(jì)概念，已成為新一代大數(shù)據(jù)處理系統(tǒng)的參考設(shè)計(jì)模板。更多人工智能的搜索體驗(yàn)、機(jī)器學(xué)習(xí)算法的不斷進(jìn)步、搜索引擎巧妙的人機(jī)交互設(shè)計(jì)、分布式系統(tǒng)的創(chuàng)新，使搜索引擎在不知不覺(jué)中成為人們生活中不可或缺的一部分。同時(shí)，隨著人們新需求的不斷涌現(xiàn)，搜索引擎也沒(méi)有停止變革的步伐。一方面，搜索引擎試圖以不同的形式向您展示自己。例如，Cortana、Siri和googlenow等對(duì)話智能交互技術(shù)離不開(kāi)搜索引擎的支持。與此同時(shí)，它正在不斷擴(kuò)大其新的能力。如果您足夠小心，您可能會(huì)發(fā)現(xiàn)當(dāng)前的搜索引擎可以更直接地回答您搜索的特定問(wèn)題。例如，在搜索結(jié)果頁(yè)面的右側(cè)，將顯示與您的搜索相關(guān)的其他類似實(shí)體的信息。在頁(yè)面頂部，一些結(jié)果（如天氣、航班和其他信息）將以更豐富的形式提供答案。最近，一個(gè)更有趣的變化是，搜索引擎開(kāi)始嘗試直接回答許多基于知識(shí)的問(wèn)題，而不是提供一些web鏈接。例如，當(dāng)你問(wèn)如何制作美味的假日小吃以及如何安裝新軟件時(shí)，微軟必應(yīng)搜索可以直接給出答案。搜索引擎是如何做到這一點(diǎn)的？要回答這個(gè)問(wèn)題，我們必須提到過(guò)去一段時(shí)間在深度學(xué)習(xí)領(lǐng)域的研究進(jìn)展。搜索引擎通過(guò)大量數(shù)據(jù)，使用dnn/rnn等新算法更好地理解網(wǎng)頁(yè)內(nèi)容與用戶問(wèn)題之間的關(guān)系，從而幫助用戶直接找到網(wǎng)頁(yè)中與問(wèn)題相關(guān)的答案。Maluuba是微軟最近收購(gòu)的一家深度學(xué)習(xí)初創(chuàng)公司，由著名深度學(xué)習(xí)專家yoshuabengio執(zhí)導(dǎo)，其目標(biāo)也是加強(qiáng)微軟在深度閱讀理解領(lǐng)域的實(shí)力。在深入理解文本方面，微軟的研究團(tuán)隊(duì)也處于領(lǐng)先地位。隨著算法的發(fā)展，搜索引擎的背景也在迅速演變。為了支持以深度學(xué)習(xí)為代表的新一代機(jī)器學(xué)習(xí)算法，GPU、FPGA和定制的ASIC芯片逐漸進(jìn)入搜索引擎的數(shù)據(jù)中心。索引和排序服務(wù)系統(tǒng)也在不斷發(fā)展，以滿足算法的處理能力要求。為了實(shí)時(shí)處理更多的大規(guī)模數(shù)據(jù)，超低延遲網(wǎng)絡(luò)也得到了廣泛的應(yīng)用。智能搜索引擎的下一個(gè)目標(biāo)上述所有這些努力都是為了更好地滿足人們對(duì)搜索引擎的需求。但搜索引擎真的能完全理解人類所有的知識(shí)系統(tǒng)嗎？它的下一個(gè)任務(wù)是什么？顯然，目前，搜索引擎已經(jīng)能夠更好地匯總互聯(lián)網(wǎng)上的信息以滿足您的搜索請(qǐng)求，并且可以直接回答一些常見(jiàn)的問(wèn)題。然而，搜索引擎是否能夠真正理解這些信息的內(nèi)在含義，是否能夠創(chuàng)造性地解決以前從未出現(xiàn)過(guò)的問(wèn)題，是否能夠有效地進(jìn)行自我演繹，仍不得而知。但有一件事是肯定的。更具創(chuàng)造性的機(jī)器學(xué)習(xí)算法、更強(qiáng)大的計(jì)算能力和創(chuàng)新的人機(jī)交互是一切的基礎(chǔ)。這也是業(yè)界和學(xué)術(shù)界共同努力的方向。

« 教育直播，現(xiàn)在和未來(lái)的創(chuàng)業(yè)機(jī)會(huì)在哪里？怎樣 | 推特出了什么問(wèn)題：兩位高管寧愿放棄3500萬(wàn)美元的股份也不愿離開(kāi) »