最近，金山軟件MapReduce（KMR）與英特爾合作推出。KMR是一個基于Intel到Intel處理器E5v4系列硬件平臺的可擴展通用數(shù)據(jù)計算和分析平臺?；贏pacheHadoop和ApacheSpark，通過自動調(diào)度靈活計算服務（KEC），幫助企業(yè)用戶快速構建分布式數(shù)據(jù)分析系統(tǒng)。金山云的發(fā)展大致可分為三個階段：云計算、大數(shù)據(jù)和人工智能。換言之，云計算是以iaas和虛擬化技術為核心支持，使企業(yè)把業(yè)務放在云上，降低部署成本，加快企業(yè)業(yè)務的發(fā)展。接下來，云中會生成大量數(shù)據(jù)，因此我們必須能夠使用這些數(shù)據(jù)來驅(qū)動企業(yè)做出決策。此時，我們需要以Hadoop為代表的大數(shù)據(jù)處理技術。第三步，其實是人工智能，比如人臉識別，這本身就是一個很高的性能和規(guī)模要求的行業(yè)，自然為云，所以金山之后的云將重點放在布局上。為了實現(xiàn)這一目標，我們依靠金山云高性能異構計算集群的機器學習/深度學習任務托管平臺——金山云機器學習（KML），將Intel等合作伙伴的技術集成在一起。會議上，金山云達數(shù)據(jù)與人工智能技術總監(jiān)張東進從成本、效率、性能和安全四個方面闡述了KML的價值。在成本方面，平臺根據(jù)實際運行時間收費，有助于企業(yè)節(jié)約系統(tǒng)開發(fā)和維護成本。在效率方面，這是一個全功能的深度學習集成環(huán)境，包括TensorFlow和IntelBigDL框架。由于它是一個全過程的平臺，從整個物料預處理、物料存儲、物料培訓、評估、在線預測等方面提供了完整的支持。在安全性方面，人工智能的核心不是算法或數(shù)據(jù)。KML可以提供企業(yè)級的數(shù)據(jù)加密和企業(yè)級的HPC集群，保證數(shù)據(jù)安全。在性能方面，底層是基于成熟的異構計算集群，包括Intel的高性能E5系列CPU，以及10000 Mbp網(wǎng)卡和Intel SSD技術。至于英特爾，技術專家也表示，金山云一直努力合作的部分是端到端、基于云的大數(shù)據(jù)解決方案。以最典型的kmr計算為例，數(shù)據(jù)是存儲在塊中還是存儲在對象中？這其實是一種不同的配置，比如用戶想要節(jié)約成本，想要最低的成本，都是批量處理的，這時可以把所有的數(shù)據(jù)放在底層的對象存儲中，用ks3作為對象存儲，這樣在計算時，spark直接從對象存儲中調(diào)用數(shù)據(jù)表。計算。同樣，如果我們想保證效率，計算的實時性要求也很高。此時，我們可以在內(nèi)存中構建一個內(nèi)存文件系統(tǒng)，現(xiàn)在稱為alluxio，它將所有熱數(shù)據(jù)緩存在內(nèi)存中。我們可以直接使用上面的kml或spark來實現(xiàn)內(nèi)存計算，以確保實時查詢和實時計算。因此，英特爾與金山云的合作目標是優(yōu)化每一個模塊，根據(jù)云的特點，結合大數(shù)據(jù)的特點，把雙方結合起來。

« “問卷網(wǎng)絡”用戶突破300萬發(fā)布CEM管理系統(tǒng)作為行業(yè)解決方案 | Airbnb已暴露于連續(xù)的“房屋破壞”：沒有門檻導致水土適應 »