新職業｜關于大數據工程技術人員，你想知道的都在這

大數據工程技術人員

一、產生背景

大數據產業指以數據生產、采集、存儲、加工、分析、服務為主的相關經濟活動，包括數據資源建設，大數據軟硬件產品的開發、銷售和租賃活動，以及相關信息技術服務。當前，智慧醫療、智慧城市、精準扶貧以及其他相關高新技術產業都離不開大數據的支撐，大數據技術在我國得到了較為廣泛的應用。

（一）國家實施大數據戰略，構建數字中國

大數據被認為是“未來的新石油”，也被比喻為21世紀的“鉆石礦”，在社會生產、流通、分配、消費活動以及經濟運行機制等方面發揮著重要的作用。2014年大數據首次寫入政府工作報告；2015年8月國務院頒布《促進大數據發展行動綱要》，大數據正式上升為國家發展戰略。隨后國家出臺了一系列大數據政策，覆蓋生態環境大數據、農業大數據、水利大數據、城市大數據、醫療大數據、交通旅游服務大數據等多層次下游應用市場，加快實施國家大數據戰略。

同時，伴隨大數據政策出臺，各地政府相繼成立了大數據管理機構，促進大數據產業發展，全國22個省區，200多個地市相繼成立大數據管理部門。

（二）大數據行業發展迅猛，產業規模巨大

2016年，工信部印發了《大數據產業發展規劃（2016-2020年）》，全國大數據產業建設掀起熱潮，目前已形成八大大數據綜合試驗區，建成100多個大數據產業園。伴隨新一代信息技術、智慧城市、數字中國等發展戰略逐步推動社會經濟數字化轉型，大數據的產業支撐得到強化，應用范圍加速拓展，產業規模實現快速增長。

通過對1572家企業的調查結果顯示，企業對數據分析的重視程度進一步提高，65.2%的企業已成立數據分析部門，24.4%的企業正在計劃成立相關數據部門。

近四成的企業已經應用了大數據。在接受調查的企業中，已經應用大數據的企業有623家，占比為39.6%，垂直行業中如金融等領域大數據應用增加趨勢較為明顯。此外，24.3%的企業表示未來一年內將應用大數據。

對數據分析方式選擇情況的調查顯示，40.3%的企業采取實時處理動態數據并提供分析結果，占比最高；其次是分析歷史數據和通過機器學習進行輔助決策，占比分別為32.3%和25.5%。不久的將來，隨著人工智能技術的發展和應用普及，選擇機器學習進行輔助決策的企業占比有望進一步提升。

2019年5月6日中國信息通信研究院發布《中國大數據與實體經濟融合發展白皮書（2019年）》，書中綜合國內外環境、新興技術發展等多種因素，測算2018年我國大數據產業增速約為15%，產值達到5405億元。另據賽迪數據顯示，2018年中國大數據產業規模為4384.5億元，同比增長23.5%；到2021年，中國大數據產業規模將超過8000億元。

從企業業務布局來看，大數據產業主要集中在華北、華東及中南地區。

（三）數據資源資產化步伐穩步推進

2015年8月,國務院印發《促進大數據發展行動綱要》,明確“加快政府數據開放共享,推動資源整合”。社會各界通過對數據資源的整合、利用,加速了數據流通共享以及數據資源化進程。2018年10月，《數據管理能力成熟度評估模型》發布實施，規范了各組織、機構數據管理和應用工作，提升國內數據管理和應用能力。2019年10月，在中國共產黨第十九屆中央委員會第四次全體會議上，中央首次公開指出“健全勞動、資本、土地、知識、技術、管理和數據等生產要素按貢獻參與分配的機制。”這是中央首次在公開場合提出數據可作為生產要素按貢獻參與分配，反映了隨著經濟活動數字化轉型加快，數據對提高生產效率的乘數作用凸顯，成為最具時代特征新生產要素的重要變化。

（四）技術融合成為大數據發展主流

當前，大數據相關技術已基本成熟，逐步成為支撐型的基礎設施，其發展方向也開始向提升效率轉變，向個性化的上層應用聚焦。隨著5G通信標準的落地，物聯網、移動互聯網、大數據、傳統行業將深度融合，算力、流批、TA、模塊、云數、數智等技術融合的趨勢愈發明顯，大量既懂大數據技術又懂其他相關行業技術的人才在大數據應用領域發揮著越來越多的作用。

（五）數據安全受到業界普遍關注

近年來，大數據業界不斷有安全事件曝出。2019年9月6日，位于杭州的大數據風控平臺杭州魔蝎數據科技有限公司被警方控制，高管被帶走，相關服務暫時癱瘓。同日，另一家提供大數據風控服務的新顏科技人工智能科技有限公司高管被帶走協助調查。大數據安全合規的問題，特別是對于個人信息保護的問題，當前已成為整個社會和行業關注熱點。

在全球不斷收緊數據合規政策的大環境下，我國在數據法律監管方面也日趨嚴格規范。2019年以來，數據安全方面的立法進程明顯加快。中央網信辦針對網絡安全審查、數據安全管理、兒童個人信息網絡保護、個人信息出境安全評估等四項關于數據安全的管理辦法相繼發布征求意見稿。這些我國數據安全法律法規重點關注個人信息的保護，大數據行業整體合規也必然將以此作為核心。

二、職業定義和工作任務

近年來，隨著經濟社會發展、科學技術進步和產業結構調整，新產業、新業態、新模式滋生孕育出許多新職業。大數據技術應用在各行各業的全面展開，我國社會需要越來越多的大數據工程技術人員。其職業定義和工作任務如下：

大數據工程技術人員職業定義：從事大數據采集、清洗、分析、治理、挖掘等技術研究，并加以利用、管理、維護和服務的工程技術人員。

大數據工程技術人員主要工作任務：

1.研究和開發大數據采集、清洗、存儲及管理、分析及挖掘、展現及應用等有關技術；

2.研究、應用大數據平臺體系架構、技術和標準；

3.設計、開發、集成、測試大數據軟硬件系統；

4.大數據采集、清洗、建模與分析；

5.管理、維護并保障大數據系統穩定運行；

6.監控、管理和保障大數據安全；

7.提供大數據的技術咨詢和技術服務。

三、當前就業人群分析

本報告基于2019年4月對27家大數據行業典型企業的人力資源情況進行調研后分析所得。

（一）學歷層次

大數據人才的學歷層次分為4個大類，分別是碩士及以上、本科、專科、專科以下。

可以看出，本科占比最高，其次是碩士及以上，專科占比只有12.22%。大數據行業是新興行業，目前學歷要求比較高。

（二）專業來源

專業來源分為4個大類，分別是數理類、經濟管理類、計算機類及其他專業。計算機類占比最高，其次是數理類。項目組調研企業大數據人才的各專業人數和占比見下圖。

（三）渠道來源

大數據人才的渠道來源分為4個大類，分別是校招、社招、內部培養和推薦、培訓機構招聘。企業大數據人才各渠道來源的人數和占比見下圖。

其中社招占比最大，比校招、內培和內推以及培訓機構招聘的總和還要高。大數據人才目前主要依靠社招，說明學校教育與社會需求脫節，內培和培訓也不能滿足崗位要求。

（四）薪資水平分布

當前，大數據人才的薪資處于相對較高水平。薪資在1萬元以下，占總人數的34.6%；1萬元-2萬元占比為35.64%；2萬以上占比為29.77%。

（五）崗位類型及數量

目前企業提供的大數據崗位按照工作內容要求，可以分為以下幾類：

①初級分析類，包括業務數據分析師、商務數據分析師等。②挖掘算法類，包括數據挖掘工程師、機器學習工程師、深度學習工程師、算法工程師、AI工程師、數據科學家等。③開發運維類，包括大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員等。④產品運營類，包括數據運營經理、數據產品經理、數據項目經理、大數據銷售等。四類崗位的數量和占比見下圖。

四、行業人才需求情況

（一）整體需求

當前信息化對人類經濟活動產生深刻影響，正滲透到生產生活方方面面，數據已經成為新的生產要素，大數據行業已成為人們按需使用信息處理、信息存儲、信息交互資源的重要模式，也是進行大數據處理和深度挖掘的重要平臺，大數據工程技術人員在我國現階段及未來發揮的作用將日益凸顯。

《大數據產業發展規劃（2016-2020年）》指出，目前大數據人才隊伍建設亟需加強，大數據基礎研究、產品研發和業務應用等各類人才短缺，難以滿足發展需要。要建設多層次人才隊伍，建立適應大數據發展需求的人才培養和評價機制。加強大數據人才培養，整合高校、企業、社會資源，推動建立創新人才培養模式，建立健全多層次、多類型的大數據人才培養體系。

根據天府大數據國際戰略與技術研究院(簡稱“天府大數據研究院”)《2018全球大數據發展分析報告》數據，2018年我國大數據產業人才占整體就業人口規模的0.23%，大約179.4萬人。

獵聘《2019年中國AI&大數據人才大數據人才就業趨勢報告》指出，2019年中國大數據人才缺口高達150萬。另據中國商業聯合會數據分析專業委員會統計，未來中國基礎性數據分析人才缺口將達到1400萬。

隨著大數據、物聯網、5G等技術應用的不斷發展，社會對該職業從業人員的需求日益增長。預計2020年中國大數據行業的人才需求規模將達到210萬，2025年前大數據人才需求仍將保持30%-40%的增速，需求總量在2000萬人左右。

（二）行業發展對大數據相關崗位產生的影響

從業態變化的角度看，企業需要大量的復合型人才，即能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌握的人才。從技術變化的角度看，深度神經網絡等新興技術的發展，彌補了傳統分析挖掘技術在大數據時代的短板，這就需要大數據技能人才掌握深度學習方面的相關知識，適應大數據的分析挖掘需要。從運營方式的角度看，運營方式的變化要求運營人員提升運營前準備、運營中把握、運營后反饋、修正，提升預見能力和掌控能力。

目前企業對中高職層次的大數據人才相關崗位主要有：數據分析師、挖掘工程師、深度學習/算法/機器學習工程師、大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員、數據運營經理、數據產品經理、數據項目經理、大數據銷售工程師。可以看出，行業發展引發技術革命，相對應的崗位及要求也有所變化。

（1）技術層面逐步由“萬花筒”向“中國特色”、“中國制造”轉變，中國標準逐漸成為業界標準，中國證書逐漸成為業界證書。

（2）技術縱深發展和橫向拓展，引發企業對人才需求變化，既有崗位重新細分的高精尖專才需求，又有中等層次的廣博復合型人才需求。

（三）崗位職責及技能要求

根據調研情況整理，大數據工程技術人員相關崗位的職責以及對大專以上學歷人才的職業技能要求如下表。

表2 大數據相關崗位的職責以及崗位技能要求

五、職業發展通道

目前，長期從事數據庫管理、挖掘、編程工作的人，包括傳統的量化分析師方面的工程師，以及需要通過數據來進行判斷決策的管理者，通過一定的培訓或自學，均可成為大數據工程技術人員。

由于我國大數據人才數量較少、缺口較大，因此多數公司的數據部門采用扁平化層級的模式，一般分為數據分析師、資深研究員、部門總監3個級別。規模較大的公司可能按照應用領域的維度來劃分不同團隊，規模較小的公司則需要身兼數職。大數據工程技術人員可朝著研究方向發展，成為企業重要數據戰略人才。此外，大數據工程技術人員對商業和產品的理解較業務部門員工更加深入，也可轉向產品部或市場部，乃至高級管理層。

六、專家觀點

兩山轉化數字研究院院長、杭州數夢工場研究院執行院長念燦華:數據是這個時代最重要的生產要素，政府、城市、產業數據資源的資產化、價值化、服務化是大勢所趨，百行百業的數字化轉型迫在眉睫。培養大數據工程技術人員對于實施國家大數據戰略，構建數字中國，發展數字經濟，滿足當下各級政府和百行百業的海量人才需求，是非常充分而必要的。

工業和信息化部信息化和軟件服務業司司長謝少鋒：大數據開啟了信息化發展的新階段，數據已成為關鍵生產要素，“軟件定義、數據驅動”對于推動制造業轉型升級發揮著重要支撐作用。工業和信息化部作為行業主管部門，推出了一系列推動大數據產業發展的舉措，下一步將扎實推進大數據戰略的實施，大力推動大數據和實體經濟融合，打造數字經濟時代下制造業國際競爭新優勢。

中國工程院院士、中國科學院計算所研究員倪光南：把大數據作為生產力，可能比把大數據作為一種財富更好、更全面。大數據生產力會推動生產關系的發展、推動社會的發展，會創造無窮無盡的財富，甚至將來會對我們思維的發展造成很大的變革。

中國科學院院士陳國良：在計算信息時代的三大標志性技術則是數字計算機、集成電路、光纖通信，新一代信息技術的三大亮點則是物聯網、云計算和大數據。現在大數據潮流浩浩蕩蕩，大數據時代已經到來，我們要順乎時代之潮流，不斷學習新知識，與時俱進，跟上時代之步伐！計算機事業永遠是年輕人的天下，大數據對年輕的一代而言，既是挑戰更是機遇，無限風光在險峰！

阿里巴巴集團主要創始人、董事局原主席馬云：大數據時代的出現讓人類進入了萬物互聯的時代，取得對數據進行重新處理的能力也遠遠超過過去，對世界的認識將會提升到一個新的高度，大數據讓預判和計劃都成為了可能。

七、典型人物案例

（一）邵天富：投身大數據應用，創造精彩人生

隨著政府、企業等社會組織與互聯網結合得越來越緊密，自有大數據機房已經滿足不了發展的需要，盡管大量的數據公司涌入，仍然無法滿足高速增長的市場需求。邵天富敏銳地意識到大數據的春天來了。

從廣東工業大學機電一體化專業畢業后，邵天富就一頭扎入大數據管理“藍海”，憑著渾然忘我、嚴謹細致的工作精神，不斷的實踐探索，經過10余年的努力，如今已是一個技術全面、經驗豐富的大數據工程技術人員，并已成長為某數據服務有限公司數據中心技術骨干。

（二）劉巖：大數據應用的排頭兵

研究生畢業的劉巖，懷著對公安工作的無限熱愛投身到天津市某公安分局這個大家庭。從警以后，劉巖深深體會到大數據、科技信息對公安工作的深遠影響，便立足崗位，在創新上下苦功，自覺提升大數據、信息化應用工作能力。自學了JAVA語言、安卓編程、搭建數據庫等理論知識，并將理論知識應用于實際，自主研發了“鷹眼”手機APP系統，充分利用互聯網信息資源，結合部分業務數據，打造了一個單位全員共享、交流的個性化業務平臺，方便了外出辦案民警隨時查閱。并為該APP增加圖形數據模塊，使其真正成為圖偵工作的重要工具，為案件偵破提供技術支撐。作為科研創新人員，劉巖被選入該市“公安智囊團隊”成員、“信息化”人才庫和“大數據分析挖掘應用”人才庫。

（三）宋正龍：愛崗敬業，致力鐵路大數據創新研發

宋正龍，畢業于大連鐵道學院計算機專業，現為某車務段網絡技術總監，主要負責車務段信息設備管理、維護、應用和軟件開發工作。

參加工作30年來，他從一名普普通通的技術人員干起，一步步成長為網絡數據開發的行家里手，他相繼開發出適合車站的“編組順序表”“貨運制票程序”軟件，極大地提高了工作效率和統計工作的準確性。

2014年，他所工作的單位提出創建數字化管理平臺，實行全覆蓋閉環管理的工作思路。宋正龍受命擔當課題籌劃、研發和建設任務。為設計制作好信息管理平臺，他白天組織研發，晚上挑燈奮戰建模，帶領開發團隊自主研發了管理平臺、預警防控平臺、作業控制平臺和表簿冊電子化平臺。最終實現了人防、物防和技防的深度融合，推進了企業管理創新，加快了“數字連車”向“智能連車”的創新升級，得到了集團公司領導和兄弟單位的高度認可。

（四）荊琦：致力推動公安科技信息化的攻堅能手

荊琦是吉林大學計算機科學系的高材生，參加公安工作后，她致力于推動公安科技信息化建設。2009年，荊琦被評定為深圳市高層次專業技術人才，曾多次被抽調省公安廳、市公安局參與公安應用系統的研發和建設。

為解決公安基層存在各業務系統信息不互通、重復錄入等問題，荊琦被委任為該單位信息采集攻堅團隊副組長，在反復與成員討論后，最后確立以警務綜合信息系統改造為核心，以執法辦案流程為主線，打通、合并、精簡各條線系統的總體思路。為完成好任務，荊琦舍小家顧大家，調研、開會、溝通、協調的第一線總能看到她的身影。最終，荊琦帶領的團隊實現了信息“一次錄入，全警共享”的目標，有力地提升了公安工作效率。

當有派出所民警反映涉案物品拍價既耗時間又浪費警力后，荊琦立即帶領團隊連夜討論解決方案，與價格中心負責人歷經十幾次磋商，最終實現了價格認定系統與警綜系統對接。現在，辦案民警可以足不出戶，只需通過警綜系統發起申請，提交必要的資料，價格認定中心就能直接通過系統反饋認定結果。僅此一項工作，每年可為深圳警隊減負1萬余天的工作量。

來源|人力資源和社會保障部

轉發請注明