大數(shù)據(jù)、數(shù)據(jù)科學(xué)、人工智能......這些詞近年來委火，天天聽到這些詞兒，處處看到這些字兒，無論是企業(yè)還是個(gè)人，似乎不跟這些詞搭上點(diǎn)關(guān)系，自己就被這個(gè)時(shí)代淘汰了一樣。海文國際作為全球知名的IT教育機(jī)構(gòu)，我們開設(shè)大數(shù)據(jù)課程，上門咨詢大數(shù)據(jù)課程的人天天絡(luò)繹不絕，總會(huì)碰到一些學(xué)員問到：我很想學(xué)大數(shù)據(jù)，但我不知道學(xué)習(xí)了大數(shù)據(jù)后能干嗎?如果您也有同樣的疑問，不防花幾分鐘時(shí)間，讀完此文詳細(xì)了解學(xué)習(xí)大數(shù)據(jù)，你未來能干什么? 首先想詳細(xì)解釋下兩個(gè)詞兒：數(shù)據(jù)科學(xué)與大數(shù)據(jù) 數(shù)據(jù)科學(xué)(Data Science)這一概念自大數(shù)據(jù)崛起也隨之成為數(shù)據(jù)領(lǐng)域的討論熱點(diǎn)，從2015年開始，“數(shù)據(jù)科學(xué)家“便成為了一個(gè)工作職位出現(xiàn)在各種招聘信息上。那么究竟什么是數(shù)據(jù)科學(xué)?大數(shù)據(jù)和數(shù)據(jù)科學(xué)又是什么關(guān)系?大數(shù)據(jù)在數(shù)據(jù)科學(xué)中起到怎樣的作用?本文主要是想起到科普作用，使即將或正在從事數(shù)據(jù)工作的朋友對(duì)數(shù)據(jù)科學(xué)工作有一個(gè)全概貌了解，也使有想法進(jìn)入大數(shù)據(jù)領(lǐng)域的朋友在真正從事大數(shù)據(jù)工作之前對(duì)行業(yè)的情況有所知曉。數(shù)據(jù)科學(xué)是一個(gè)混合交叉學(xué)科(如下圖所示)，要完整的成為一個(gè)數(shù)據(jù)科學(xué)家，就需要具備較好的數(shù)學(xué)和計(jì)算機(jī)知識(shí)，以及某一個(gè)專業(yè)領(lǐng)域的知識(shí)。所做的工作都是圍繞數(shù)據(jù)打轉(zhuǎn)轉(zhuǎn)，在數(shù)據(jù)量爆發(fā)之后，大數(shù)據(jù)被看做是數(shù)據(jù)科學(xué)中的一個(gè)分支。 大數(shù)據(jù)(Big Data)其實(shí)已經(jīng)興起好些年了，只是隨著無處不在的傳感器、無處不在的數(shù)據(jù)埋點(diǎn)，獲取數(shù)據(jù)變得越來越容易、量越來越大、內(nèi)容越來越多樣化，于是原來傳統(tǒng)的數(shù)據(jù)領(lǐng)域不得不思考重新?lián)Q一個(gè)平臺(tái)可以處理和使用逐漸龐大數(shù)據(jù)量的新平臺(tái)。用以下兩點(diǎn)進(jìn)一步闡述： “吳軍博士提出的一個(gè)觀點(diǎn)：現(xiàn)有產(chǎn)業(yè)+新技術(shù)=新產(chǎn)業(yè)，大數(shù)據(jù)也符合這個(gè)原則，只是催生出來的不僅僅是一個(gè)新產(chǎn)業(yè)，而是一個(gè)完整的產(chǎn)業(yè)鏈：原有的數(shù)據(jù)領(lǐng)域+新的大數(shù)據(jù)技術(shù)=大數(shù)據(jù)產(chǎn)業(yè)鏈;數(shù)據(jù)使用的范圍，原來的數(shù)據(jù)應(yīng)用主要是從現(xiàn)有數(shù)據(jù)中的數(shù)據(jù)進(jìn)行采樣，再做數(shù)據(jù)挖掘和分析，發(fā)掘出數(shù)據(jù)中的潛在規(guī)則用以預(yù)測(cè)或決策，然而采樣始終會(huì)舍棄一部分?jǐn)?shù)據(jù)，即會(huì)丟失一部分潛在規(guī)則和價(jià)值，隨著數(shù)據(jù)量和內(nèi)容的不斷累積，企業(yè)越來越重視在數(shù)據(jù)應(yīng)用時(shí)可以使用全量數(shù)據(jù)，可以盡可能的覆蓋所有潛在規(guī)則從而發(fā)掘出可能想到或從未想到的價(jià)值。 “在我從事大數(shù)據(jù)相關(guān)工作和學(xué)習(xí)的10年時(shí)間里，我一直認(rèn)為大數(shù)據(jù)是一個(gè)以數(shù)據(jù)流向?yàn)橹鞯逆湕l或管道，數(shù)據(jù)從何而來，又去往哪里，不僅是哲學(xué)上的一個(gè)問題，也可以在做數(shù)據(jù)工作的時(shí)候考慮這個(gè)問題。如下圖所示，大數(shù)據(jù)領(lǐng)域可以分為以下幾個(gè)主要方向，而這幾個(gè)方向又可以分別對(duì)應(yīng)一些工作職位： 1數(shù)據(jù)平臺(tái) Data Platform，構(gòu)建、維護(hù)穩(wěn)定、安全的大數(shù)據(jù)平臺(tái)，按需設(shè)計(jì)大數(shù)據(jù)架構(gòu)，調(diào)研選型大數(shù)據(jù)技術(shù)產(chǎn)品、方案，實(shí)施部署上線。對(duì)于大數(shù)據(jù)領(lǐng)域涉及到的大多數(shù)技術(shù)都要有所了解，并精通某一部分，具備分布式系統(tǒng)的知識(shí)背景; 對(duì)應(yīng)職位：大數(shù)據(jù)架構(gòu)師，數(shù)據(jù)平臺(tái)工程師 2數(shù)據(jù)采集 Data Collecting，從Web/Sensor/RDBMS等渠道獲取數(shù)據(jù)，為大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)來源，如Apache Nutch是開源的分布式數(shù)據(jù)采集組件，大家熟知的Python爬蟲框架ScraPy等。 對(duì)應(yīng)職位：爬蟲工程師，數(shù)據(jù)采集工程師 3數(shù)據(jù)倉庫 Data Warehouse，有點(diǎn)類似于傳統(tǒng)的數(shù)據(jù)倉庫工作內(nèi)容：設(shè)計(jì)數(shù)所倉庫層級(jí)結(jié)構(gòu)、ETL、進(jìn)行數(shù)據(jù)建模，但基于的平臺(tái)不一樣，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)倉庫大多基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)，例如Hive就是基于Hadoop的數(shù)據(jù)倉庫。 對(duì)應(yīng)職位：ETL工程師，數(shù)據(jù)倉庫工程師 4數(shù)據(jù)處理 Data Processing，完成某些特定需求中的處理或數(shù)據(jù)清洗，在小團(tuán)隊(duì)中是結(jié)合在數(shù)據(jù)倉庫中一起做的，以前做ETL或許是利用工具直接配置處理一些過濾項(xiàng)，寫代碼部分會(huì)比較少，如今在大數(shù)據(jù)平臺(tái)上做數(shù)據(jù)處理可以利用更多的代碼方式做更多樣化的處理，所需技術(shù)有Hive、Hadoop、Spark等。隨便說下，千萬不要小看數(shù)據(jù)處理，后續(xù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘等工作都是基于數(shù)據(jù)處理的質(zhì)量，可以說數(shù)據(jù)處理在整個(gè)流程中有特別重要的位置。 對(duì)應(yīng)職位：Hadoop工程師，Spark工程師 5數(shù)據(jù)分析 Data Analysis，基于統(tǒng)計(jì)分析方法做數(shù)據(jù)分析：例如回歸分析、方差分析等;大數(shù)據(jù)分析例如Ad-Hoc交互式分析，SQL on Hadoop的技術(shù)有：Hive、Impala、Presto、Spark SQL，支持OLAP的技術(shù)有：Kylin; 對(duì)應(yīng)職位：數(shù)據(jù)分析師 6數(shù)據(jù)挖掘 Data Mining，是一個(gè)比較寬泛的概念，可以直接理解為從大量數(shù)據(jù)中發(fā)現(xiàn)有用的信息。大數(shù)據(jù)中的數(shù)據(jù)挖掘，主要是設(shè)計(jì)并在大數(shù)據(jù)平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)挖掘算法：分類算法、聚類算法、關(guān)聯(lián)分析等。 對(duì)應(yīng)職位：數(shù)據(jù)挖掘工程師 7機(jī)器學(xué)習(xí) Machine Learning，與數(shù)據(jù)挖掘經(jīng)常一起討論，甚至被認(rèn)為是同一事物。機(jī)器學(xué)習(xí)是一個(gè)計(jì)算機(jī)與統(tǒng)計(jì)學(xué)交叉的學(xué)科，基本目標(biāo)是學(xué)習(xí)一個(gè)x-“y的函數(shù)(映射)，來做分類或者回歸的工作。之所以經(jīng)常和數(shù)據(jù)挖掘合在一起講是因?yàn)楝F(xiàn)在好多數(shù)據(jù)挖掘的工作是通過機(jī)器學(xué)習(xí)提供的算法工具實(shí)現(xiàn)的，例如個(gè)性化推薦，是通過機(jī)器學(xué)習(xí)的一些算法分析平臺(tái)上的各種購買，瀏覽和收藏日志，得到一個(gè)推薦模型，來預(yù)測(cè)你喜歡的商品。 對(duì)應(yīng)職位：算法工程師，研究員 8深度學(xué)習(xí) Deep Learning，是機(jī)器學(xué)習(xí)里面的一個(gè)topic(非?；鸬腡opic)，從深度學(xué)習(xí)的內(nèi)容來看其本身是神經(jīng)網(wǎng)絡(luò)算法的衍生，在圖像、語音、自然語言等分類和識(shí)別上取得了非常好的效果，大部分的工作是在調(diào)參。不知道大家有否發(fā)現(xiàn)現(xiàn)在的Google翻譯比以前的要準(zhǔn)確很多，因?yàn)镚oogle在去年底將其Google翻譯的核心從原來基于統(tǒng)計(jì)的方法換成了基于神經(jīng)網(wǎng)絡(luò)的方法; 對(duì)應(yīng)職位：算法工程師，研究員 9數(shù)據(jù)可視化 Data Visualization，將分析、挖掘后的高價(jià)值數(shù)據(jù)用比較優(yōu)美、靈活的方式展現(xiàn)在老板、客戶、用戶面前，更多的是一些前端的東西，也可能要求有一定的美學(xué)知識(shí)。結(jié)合使用者的喜好，以最恰當(dāng)?shù)姆绞匠尸F(xiàn)數(shù)據(jù)價(jià)值; 對(duì)應(yīng)職位：數(shù)據(jù)工程師，BI工程師 10數(shù)據(jù)應(yīng)用 Data Application，從以上的每個(gè)部分可以衍生出的應(yīng)用，例如廣告精準(zhǔn)投放、個(gè)性化推薦、用戶畫像等。 對(duì)應(yīng)職位：數(shù)據(jù)工程師 我建議想進(jìn)入大數(shù)據(jù)領(lǐng)域的朋友可以選一個(gè)與自己現(xiàn)有技術(shù)背景相匹配的方向作為入門，如海文國際的大數(shù)據(jù)課程，這個(gè)課程適合之前做SA、DBA、JAVA開發(fā)的有一定IT基礎(chǔ)的人，同時(shí)也適合那有志于入進(jìn)大數(shù)據(jù)領(lǐng)域的零基礎(chǔ)的的人員，從知識(shí)的廣度，讓學(xué)員建立一套有章可循、有據(jù)可依然的大數(shù)據(jù)思維;然后學(xué)員再將學(xué)習(xí)的魔爪延伸到其他感興趣的方向，這是最快進(jìn)入這個(gè)領(lǐng)域的一個(gè)方法。當(dāng)然，我們要知道上面所列的每一個(gè)方向都需要耗費(fèi)大量的時(shí)間、腦力、體力，都是這個(gè)智能時(shí)代繼續(xù)發(fā)展的過程中不可或缺的一部分，海文國際大數(shù)據(jù)課程或許是最能幫助你的。

« 香港將迎來首家獨(dú)角獸公司 曾獲蔡文勝投資 | 支招：如何在網(wǎng)絡(luò)互助平臺(tái)眾托幫早起打卡中拿到紅包 »