一、大數(shù)據(jù)工程師項(xiàng)目簡(jiǎn)介

大數(shù)據(jù)工程師是由工業(yè)和信息化部教育與考試中心推出一套專業(yè)化，科學(xué)化?，系統(tǒng)化的人才考核標(biāo)準(zhǔn)?，涉及在互聯(lián)網(wǎng)、金融領(lǐng)域，大數(shù)據(jù)工程用于信貸風(fēng)控、精準(zhǔn)營(yíng)銷、股價(jià)分析、智能投顧和反欺詐等行業(yè)專門從事大數(shù)據(jù)技術(shù)的系統(tǒng)搭建、數(shù)據(jù)存儲(chǔ)處理與分析挖掘、應(yīng)用解決方案設(shè)計(jì)，旨在通過處理和分析海量數(shù)據(jù)，挖掘數(shù)據(jù)價(jià)值、提供決策的新型數(shù)據(jù)應(yīng)用人才所需要的技能。

“大數(shù)據(jù)工程師?”是涉及大數(shù)據(jù)技術(shù)的系統(tǒng)搭建、數(shù)據(jù)存儲(chǔ)處理與分析挖掘、應(yīng)用解決方案設(shè)計(jì)，著重于構(gòu)建完整大數(shù)據(jù)生態(tài)系統(tǒng)，涵蓋操作系統(tǒng)與框架搭建，存儲(chǔ)處理與深度分析挖掘關(guān)系型與非關(guān)系型數(shù)據(jù)，能針對(duì)特定場(chǎng)景制定大數(shù)據(jù)應(yīng)用方案，實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化等從業(yè)者的全面考核，分為初級(jí)，中級(jí)，高級(jí)三個(gè)等級(jí)。

二、能力標(biāo)準(zhǔn)

1、大數(shù)據(jù)工程師（初級(jí)）

需要掌握?Linux、Hive、Python的基本操作和工具使用。具備Hadoop的基礎(chǔ)知識(shí)，包括Hadoop簡(jiǎn)介、集群安裝與部署以及基礎(chǔ)操作，能夠搭建簡(jiǎn)單的 Hadoop集群環(huán)境并進(jìn)行基本的數(shù)據(jù)管理。具備一定的網(wǎng)頁前端基礎(chǔ)，能夠理解網(wǎng)頁結(jié)構(gòu)，從而更好地通過工具進(jìn)行網(wǎng)頁數(shù)據(jù)的定位和抓取。

能夠?qū)⑺鶎W(xué)知識(shí)應(yīng)用到實(shí)際項(xiàng)目中，如針對(duì)市場(chǎng)營(yíng)銷應(yīng)用，能夠獲取商品相關(guān)信息（鏈接、價(jià)格、詳細(xì)信息）和評(píng)論數(shù)據(jù)，并進(jìn)行預(yù)處理和分析，包括細(xì)分市場(chǎng)分析、競(jìng)爭(zhēng)者分析、創(chuàng)新需求分析和營(yíng)銷策略分析等。適合政府、金融、電信、零售等行業(yè)前端業(yè)務(wù)及從事市場(chǎng)、管理、財(cái)務(wù)、供應(yīng)、咨詢等職位的相關(guān)人員。

2、大數(shù)據(jù)工程師（中級(jí)）

一年以上大數(shù)據(jù)工作經(jīng)驗(yàn)，或已獲得大數(shù)據(jù)工程師（初級(jí)）證書。掌握 Linux、Hive、Python的基本操作和工具使用。深入理解Hadoop架構(gòu)原理，能夠優(yōu)化Hadoop集群性能，包括調(diào)整集群參數(shù)、處理資源分配、解決常見的集群故障等，確保大規(guī)模數(shù)據(jù)處理的高效性和穩(wěn)定性。

具備處理海量數(shù)據(jù)的能力，能夠運(yùn)用分布式計(jì)算技術(shù)和大數(shù)據(jù)存儲(chǔ)技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的高效存儲(chǔ)、檢索和更新。例如，對(duì)大規(guī)模日志數(shù)據(jù)進(jìn)行實(shí)時(shí)收集、存儲(chǔ)和分析，從中提取有價(jià)值的信息，為業(yè)務(wù)決策提供支持。

在大數(shù)據(jù)處理過程中，能夠快速定位和解決各種技術(shù)問題，如系統(tǒng)故障、性能瓶頸、數(shù)據(jù)質(zhì)量問題等。具備良好的問題排查能力和解決思路，能夠運(yùn)用系統(tǒng)監(jiān)控工具、日志分析工具等手段進(jìn)行問題診斷，并提出有效的解決方案。持續(xù)關(guān)注大數(shù)據(jù)技術(shù)發(fā)展動(dòng)態(tài)，能夠?qū)⑿碌募夹g(shù)和方法引入到實(shí)際項(xiàng)目中，對(duì)現(xiàn)有系統(tǒng)進(jìn)行性能優(yōu)化和功能升級(jí)。例如，探索新的數(shù)據(jù)存儲(chǔ)格式（如Parquet、ORC）和計(jì)算引擎（如Flink）的應(yīng)用，提高大數(shù)據(jù)處理效率和系統(tǒng)擴(kuò)展性。適合政府、金融、電信、零售、 互聯(lián)網(wǎng)、電商、醫(yī)學(xué)等行業(yè)專門從事大數(shù)據(jù)崗位的人員。

3、大數(shù)據(jù)工程師（高級(jí)）

三年以上大數(shù)據(jù)崗位工作經(jīng)驗(yàn)，或已獲得大數(shù)據(jù)工程師（中級(jí)）證書。掌握Hive、PySpark、Python、MongoDB的基本操作和工具使用。精通關(guān)系型數(shù)據(jù)（如MySQL）和非關(guān)系型數(shù)據(jù)（如MongoDB）的存儲(chǔ)與處理。對(duì)于關(guān)系型數(shù)據(jù)庫(kù)，熟練掌握數(shù)據(jù)庫(kù)基礎(chǔ)概念，能進(jìn)行MySQL的基本操作（如數(shù)據(jù)插入、查詢、更新、刪除）、聯(lián)表查詢與復(fù)雜子查詢，編寫存儲(chǔ)過程和函數(shù)以優(yōu)化數(shù)據(jù)處理邏輯。對(duì)于非關(guān)系型數(shù)據(jù)庫(kù)，熟練掌握MongoDB的入門實(shí)戰(zhàn)操作，包括安全認(rèn)證與管理、復(fù)制與分片技術(shù)以實(shí)現(xiàn)高可用和高性能的數(shù)據(jù)存儲(chǔ)，熟練進(jìn)行文檔操作、聚合操作，通過Python與MongoDB交互實(shí)現(xiàn)數(shù)據(jù)的靈活讀寫，合理運(yùn)用視圖與索引提升數(shù)據(jù)查詢效率。具備扎實(shí)的數(shù)據(jù)挖掘基礎(chǔ)，理解數(shù)據(jù)挖掘的流程和常用算法（如分類、聚類、回歸等算法），能夠根據(jù)業(yè)務(wù)需求選擇合適的數(shù)據(jù)挖掘算法解決實(shí)際問題以及大數(shù)據(jù)分析框架配置能力，熟悉 PySpark大數(shù)據(jù)分析概述，掌握PySpark安裝配置，能夠在大數(shù)據(jù)集群環(huán)境中部署和運(yùn)行PySpark應(yīng)用程序，實(shí)現(xiàn)高效的大數(shù)據(jù)分析任務(wù)。

在大數(shù)據(jù)項(xiàng)目實(shí)施過程中，能夠迅速識(shí)別和分析遇到的各種問題，如數(shù)據(jù)質(zhì)量問題、系統(tǒng)性能瓶頸、算法效果不佳等。運(yùn)用所學(xué)知識(shí)和經(jīng)驗(yàn)，提出有效的解決方案，確保項(xiàng)目順利進(jìn)行。具備創(chuàng)新思維，能夠根據(jù)業(yè)務(wù)需求和技術(shù)發(fā)展趨勢(shì)，提出創(chuàng)新性的大數(shù)據(jù)解決方案和應(yīng)用思路，為企業(yè)創(chuàng)造更大的價(jià)值。適合政府、金融、電信、零售、互聯(lián)網(wǎng)、電商、醫(yī)學(xué)等行業(yè)數(shù)據(jù)分析應(yīng)用資深人員。

三、課程內(nèi)容

四、報(bào)考條件

初級(jí)：無要求 ，皆可報(bào)考。

中級(jí)：（滿足其中一個(gè)條件即可）?

1.獲得初級(jí)證書。

2.年滿18周歲，具備高中以上學(xué)歷，工作年限滿1年

高級(jí)：（滿足其中一個(gè)條件即可）

1.獲得中級(jí)證書。

2.年滿20周歲以上，工作年限滿2年

3.年滿20周歲以上，具備大專及以上學(xué)歷

五、考試方式

考試方式分為線下考試站點(diǎn)或線上考試系統(tǒng)統(tǒng)考兩種方式，考試形式為上機(jī)答題，閉卷。

考試題型：

初級(jí)：120 分鐘，單選題+多選題+判斷題+操作題+簡(jiǎn)答題，上機(jī)答題。

中級(jí)：120 分鐘，單選題+多選題+判斷題+操作題+簡(jiǎn)答題，上機(jī)答題。

高級(jí)：120 分鐘，單選題+多選題+判斷題+操作題+簡(jiǎn)答題，上機(jī)答題。

六、成績(jī)?cè)u(píng)分

考試最終成績(jī)滿分為100分，成績(jī)80-100分為優(yōu)秀；成績(jī)60-79分為合格；成績(jī)60分以下為不合格。

七、證書樣本

學(xué)員經(jīng)考核合格，由工業(yè)和信息化部教育與考試中心頒發(fā)大數(shù)據(jù)工程師職業(yè)技術(shù)證書?，證書可登錄國(guó)家工信部教育與考試中心官網(wǎng)查詢。

證書樣本：

八、官方指定報(bào)名渠道www.xmqqs.cn，詳情可咨詢：

必須備注：大數(shù)據(jù)工程師