最近，金山軟件MapReduce（KMR）與英特爾合作推出。KMR是一個(gè)基于Intel到Intel處理器E5v4系列硬件平臺(tái)的可擴(kuò)展通用數(shù)據(jù)計(jì)算和分析平臺(tái)。基于ApacheHadoop和ApacheSpark，通過(guò)自動(dòng)調(diào)度靈活計(jì)算服務(wù)（KEC），幫助企業(yè)用戶(hù)快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。金山云的發(fā)展大致可分為三個(gè)階段：云計(jì)算、大數(shù)據(jù)和人工智能。換言之，云計(jì)算是以iaas和虛擬化技術(shù)為核心支持，使企業(yè)把業(yè)務(wù)放在云上，降低部署成本，加快企業(yè)業(yè)務(wù)的發(fā)展。接下來(lái)，云中會(huì)生成大量數(shù)據(jù)，因此我們必須能夠使用這些數(shù)據(jù)來(lái)驅(qū)動(dòng)企業(yè)做出決策。此時(shí)，我們需要以Hadoop為代表的大數(shù)據(jù)處理技術(shù)。第三步，其實(shí)是人工智能，比如人臉識(shí)別，這本身就是一個(gè)很高的性能和規(guī)模要求的行業(yè)，自然為云，所以金山之后的云將重點(diǎn)放在布局上。為了實(shí)現(xiàn)這一目標(biāo)，我們依靠金山云高性能異構(gòu)計(jì)算集群的機(jī)器學(xué)習(xí)/深度學(xué)習(xí)任務(wù)托管平臺(tái)——金山云機(jī)器學(xué)習(xí)（KML），將Intel等合作伙伴的技術(shù)集成在一起。會(huì)議上，金山云達(dá)數(shù)據(jù)與人工智能技術(shù)總監(jiān)張東進(jìn)從成本、效率、性能和安全四個(gè)方面闡述了KML的價(jià)值。在成本方面，平臺(tái)根據(jù)實(shí)際運(yùn)行時(shí)間收費(fèi)，有助于企業(yè)節(jié)約系統(tǒng)開(kāi)發(fā)和維護(hù)成本。在效率方面，這是一個(gè)全功能的深度學(xué)習(xí)集成環(huán)境，包括TensorFlow和IntelBigDL框架。由于它是一個(gè)全過(guò)程的平臺(tái)，從整個(gè)物料預(yù)處理、物料存儲(chǔ)、物料培訓(xùn)、評(píng)估、在線預(yù)測(cè)等方面提供了完整的支持。在安全性方面，人工智能的核心不是算法或數(shù)據(jù)。KML可以提供企業(yè)級(jí)的數(shù)據(jù)加密和企業(yè)級(jí)的HPC集群，保證數(shù)據(jù)安全。在性能方面，底層是基于成熟的異構(gòu)計(jì)算集群，包括Intel的高性能E5系列CPU，以及10000 Mbp網(wǎng)卡和Intel SSD技術(shù)。至于英特爾，技術(shù)專(zhuān)家也表示，金山云一直努力合作的部分是端到端、基于云的大數(shù)據(jù)解決方案。以最典型的kmr計(jì)算為例，數(shù)據(jù)是存儲(chǔ)在塊中還是存儲(chǔ)在對(duì)象中？這其實(shí)是一種不同的配置，比如用戶(hù)想要節(jié)約成本，想要最低的成本，都是批量處理的，這時(shí)可以把所有的數(shù)據(jù)放在底層的對(duì)象存儲(chǔ)中，用ks3作為對(duì)象存儲(chǔ)，這樣在計(jì)算時(shí)，spark直接從對(duì)象存儲(chǔ)中調(diào)用數(shù)據(jù)表。計(jì)算。同樣，如果我們想保證效率，計(jì)算的實(shí)時(shí)性要求也很高。此時(shí)，我們可以在內(nèi)存中構(gòu)建一個(gè)內(nèi)存文件系統(tǒng)，現(xiàn)在稱(chēng)為alluxio，它將所有熱數(shù)據(jù)緩存在內(nèi)存中。我們可以直接使用上面的kml或spark來(lái)實(shí)現(xiàn)內(nèi)存計(jì)算，以確保實(shí)時(shí)查詢(xún)和實(shí)時(shí)計(jì)算。因此，英特爾與金山云的合作目標(biāo)是優(yōu)化每一個(gè)模塊，根據(jù)云的特點(diǎn)，結(jié)合大數(shù)據(jù)的特點(diǎn)，把雙方結(jié)合起來(lái)。

« “問(wèn)卷網(wǎng)絡(luò)”用戶(hù)突破300萬(wàn)發(fā)布CEM管理系統(tǒng)作為行業(yè)解決方案 | Airbnb已暴露于連續(xù)的“房屋破壞”：沒(méi)有門(mén)檻導(dǎo)致水土適應(yīng) »