大數(shù)據(jù)技術(shù)應(yīng)用工程師
一、大數(shù)據(jù)技術(shù)應(yīng)用工程師項(xiàng)目簡介
大數(shù)據(jù)技術(shù)應(yīng)用工程師是由工業(yè)和信息化部教育與考試中心推出一套專業(yè)化?,科學(xué)化?,系統(tǒng)化的人才考核標(biāo)準(zhǔn)?,涉及在互聯(lián)網(wǎng)、零售、金融、??電信、醫(yī)學(xué)、旅游、新聞媒體等行業(yè)專門從事數(shù)據(jù)采集、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、人工智能并能制作業(yè)務(wù)報(bào)告、提供決策的新型數(shù)據(jù)分析人才所需要的技能。
“大數(shù)據(jù)技術(shù)應(yīng)用工程師?”是對(duì)在數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能領(lǐng)域中使用大數(shù)據(jù)據(jù)技術(shù)作為主要方法從業(yè)者的全面考核,分為初級(jí),?中級(jí)?,高級(jí)三個(gè)等級(jí)。
二、能力標(biāo)準(zhǔn)
1、大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級(jí))
需要掌握 Python 編程基礎(chǔ)、Python 常用數(shù)據(jù)分析及處理工具 numpy、?pandas、scikit-learn,能以 Python 作為工具,解決基本的數(shù)據(jù)分析問題。能??夠理解業(yè)務(wù)目標(biāo)?,并能將業(yè)務(wù)目標(biāo)初步轉(zhuǎn)化為大數(shù)據(jù)技術(shù)與應(yīng)用問題?,能結(jié)合???具體技術(shù)進(jìn)行初步目標(biāo)實(shí)現(xiàn)。適合政府、金融、電信、零售等行業(yè)前端業(yè)務(wù)及???從事市場(chǎng)、管理、財(cái)務(wù)、供應(yīng)、咨詢等職位的相關(guān)人員。
2、大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級(jí))
一年以上大數(shù)據(jù)分析應(yīng)用工作經(jīng)驗(yàn) ,或已獲得大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級(jí))證書。掌握 Python 編程基礎(chǔ);常用數(shù)據(jù)分析及處理工具 numpy、 pandas、matplotlib、scikit-learn;Python 數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)、常規(guī)案例應(yīng)用,能夠?qū)I(yè)務(wù)目標(biāo)準(zhǔn)確轉(zhuǎn)化為大數(shù)據(jù)技術(shù)與應(yīng)用目標(biāo) ,能將業(yè)務(wù)目標(biāo)拆解成不同任 務(wù)并找到對(duì)應(yīng)技術(shù)實(shí)現(xiàn)方法 ,提升工作價(jià)值。適合政府、金融、電信、零售、 互聯(lián)網(wǎng)、電商、 醫(yī)學(xué)等行業(yè)專門從事大數(shù)據(jù)分析應(yīng)用的人員。
3、大數(shù)據(jù)技術(shù)應(yīng)用工程師(高級(jí))
三年以上大數(shù)據(jù)分析應(yīng)用崗位工作經(jīng)驗(yàn),或已獲得大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級(jí))證書。掌握 Python 編程基礎(chǔ);?Python 常用數(shù)據(jù)分析及處理工具 numpy、pandas、matplotlib、scikit-learn;?數(shù)據(jù)可視化、?自然語言處理、網(wǎng)絡(luò)爬蟲、?人工智能應(yīng)用、機(jī)器學(xué)習(xí)、多行業(yè)多領(lǐng)域大數(shù)據(jù)技術(shù)應(yīng)用、深度學(xué)習(xí)、典型人???工智能應(yīng)用?,能充分理解業(yè)務(wù)目標(biāo)?,并將業(yè)務(wù)目標(biāo)精準(zhǔn)轉(zhuǎn)換、拆分為具體技術(shù)???任務(wù);具有超強(qiáng)數(shù)據(jù)規(guī)劃能力,不僅能自主完成各環(huán)節(jié)任務(wù)還能帶領(lǐng)數(shù)據(jù)分析???團(tuán)隊(duì)完成大型項(xiàng)目?,為企業(yè)生產(chǎn)賦能。適合政府、金融、電信、零售、互聯(lián)網(wǎng)、?電商、?醫(yī)學(xué)等行業(yè)數(shù)據(jù)分析應(yīng)用資深人員。
三、課程內(nèi)容
初級(jí):班級(jí)鏈接:
階段 | 課程 | 知識(shí)模塊 |
必備技能 | Linux操作系統(tǒng)基礎(chǔ) | Linux概述 |
Linux系統(tǒng)安裝 | ||
Linux基本命令 | ||
Linux Vi編輯器 | ||
Linux Shell編程 | ||
MySQL數(shù)據(jù)分析基礎(chǔ) | MySQL安裝 | |
可視化工具Navicat安裝 | ||
數(shù)據(jù)庫基礎(chǔ) | ||
基礎(chǔ)命令 | ||
授權(quán)管理 | ||
Navincat工具使用介紹 | ||
數(shù)據(jù)庫的創(chuàng)建和刪除 | ||
INSERT語句插入數(shù)據(jù) | ||
SELECT查詢語句 | ||
WHERE條件 | ||
GROUP BY分組查詢 | ||
Scala編程基礎(chǔ) | ?Scala簡介 | |
?Scala安裝配置 | ||
Scala基礎(chǔ)語法 | ||
?函數(shù) | ||
案例實(shí)戰(zhàn) | 基于MySQL的優(yōu)惠券特征處理 | 背景&需求說明 |
數(shù)據(jù)字段說明 | ||
標(biāo)簽列構(gòu)建 | ||
標(biāo)簽列構(gòu)建 | ||
表合并&小結(jié) | ||
職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級(jí))職業(yè)技術(shù)考試 | ? |
中級(jí):
階段 | 課程 | 知識(shí)模塊 |
大數(shù)據(jù)基礎(chǔ) | 大數(shù)據(jù)技術(shù)導(dǎo)論 | 認(rèn)識(shí)大數(shù)據(jù) |
建立大數(shù)據(jù)思維 | ||
機(jī)器學(xué)習(xí)簡介 | ||
數(shù)據(jù)可視化概述 | ||
大數(shù)據(jù)采集與存儲(chǔ)技術(shù) | 數(shù)據(jù)采集 | 爬蟲環(huán)境簡介 |
網(wǎng)頁前端基礎(chǔ) | ||
簡單靜態(tài)網(wǎng)頁爬取 | ||
常規(guī)動(dòng)態(tài)網(wǎng)頁爬取 | ||
模擬登陸 | ||
數(shù)據(jù)存儲(chǔ) | Hadoop相關(guān)概述 | |
安裝虛擬機(jī)與Java | ||
Hadoop集群部署模式與固定IP | ||
Hadoop集群配置與啟動(dòng) | ||
Hadoop安全模式與HDFS操作 | ||
MapReduce操作 | ||
Hive安裝配置 | ||
工程創(chuàng)建與數(shù)據(jù)導(dǎo)入 | ||
數(shù)據(jù)統(tǒng)計(jì)分析 | ||
Hive自定義函數(shù) | ||
大數(shù)據(jù)處理與分析技術(shù) | 分布式計(jì)算 | 安裝配置 |
架構(gòu)及原理 | ||
RDD創(chuàng)建與transformation算子 | ||
鍵值對(duì)RDD算子與action算子 | ||
文件讀取與時(shí)長統(tǒng)計(jì) | ||
搭建開發(fā)環(huán)境與SQL配置 | ||
創(chuàng)建DataFrame | ||
DataFrame API操作 | ||
數(shù)據(jù)保存與DataSet操作 | ||
大數(shù)據(jù)實(shí)時(shí)處理 | Storm分布式安裝 | |
架構(gòu)及相關(guān)概念 | ||
開發(fā)環(huán)境配置 | ||
集群運(yùn)行與并行度 | ||
Storm集成Hadoop | ||
可視化分析 | seaborn繪圖基礎(chǔ) | |
seaborn圖表類型 | ||
交互式繪圖 | ||
大數(shù)據(jù)應(yīng)用 | 機(jī)器學(xué)習(xí)基礎(chǔ) | 構(gòu)建回歸模型 |
構(gòu)建決策樹模型 | ||
構(gòu)建KNN與非線性支持向量機(jī) | ||
神經(jīng)網(wǎng)絡(luò)與集成算法 | ||
Kmeans聚類算法 | ||
密度聚類 | ||
層次聚類與關(guān)聯(lián)規(guī)則 | ||
基于用戶的協(xié)同過濾推薦 | ||
基于流行度推薦 | ||
時(shí)間序列 | ||
深度學(xué)習(xí)基礎(chǔ) | 構(gòu)建線性模型 | |
手寫數(shù)字識(shí)別 | ||
項(xiàng)目實(shí)戰(zhàn) | 電影用戶性別預(yù)測(cè) | 案例介紹 |
評(píng)分?jǐn)?shù)據(jù)與用戶數(shù)據(jù) | ||
統(tǒng)計(jì)用戶對(duì)不同電影類型的訪問次數(shù) | ||
數(shù)據(jù)拆分流程分析與實(shí)戰(zhàn) | ||
模型構(gòu)建與評(píng)估 | ||
職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級(jí))職業(yè)技術(shù)考試 | ? |
?高級(jí):
階段 | 課程 | 知識(shí)模塊 |
大數(shù)據(jù)基礎(chǔ) | 大數(shù)據(jù)技術(shù)導(dǎo)論 | 大數(shù)據(jù)時(shí)代下的存儲(chǔ)技術(shù) |
大數(shù)據(jù)認(rèn)知 | ||
機(jī)器學(xué)習(xí)概述 | ||
模型評(píng)估 | ||
大數(shù)據(jù)數(shù)學(xué)基礎(chǔ) | 回歸、判別與聚類分析 | |
主成分、因子與典型相關(guān)分析 | ||
大數(shù)據(jù)采集與存儲(chǔ)技術(shù) | 數(shù)據(jù)采集技術(shù) | 網(wǎng)絡(luò)爬蟲框架 |
簡介與快速入門 | ||
Agent組件類型 | ||
攔截器、Channel選擇器和Sink處理器 | ||
常見的采集配置 | ||
多Agent數(shù)據(jù)采集 | ||
廣告系統(tǒng)日志數(shù)據(jù)采集分析 | ||
廣告曝光日志數(shù)據(jù)采集分析 | ||
用戶行為日志數(shù)據(jù)采集分析 | ||
農(nóng)產(chǎn)品信息采集與分析 | ||
數(shù)據(jù)存儲(chǔ)技術(shù) | 數(shù)據(jù)倉庫 | |
數(shù)據(jù)庫管理系統(tǒng)與數(shù)據(jù)存儲(chǔ) | ||
查詢事務(wù)管理與系統(tǒng)結(jié)構(gòu) | ||
分布式文件系統(tǒng)概述 | ||
環(huán)境配置 | ||
Hadoop集群配置與啟動(dòng) | ||
Hadoop安全模式與HDFS操作 | ||
非關(guān)系型數(shù)據(jù)庫概述 | ||
MongoDB部署模式與數(shù)據(jù)分片 | ||
系統(tǒng)部署單節(jié)點(diǎn)MongoDB | ||
Linux系統(tǒng)部署MongoDB副本集與分片集群 | ||
數(shù)據(jù)庫管理工具 | ||
大數(shù)據(jù)處理與分析技術(shù) | 數(shù)據(jù)處理技術(shù) | 創(chuàng)建數(shù)據(jù)庫用戶與MongoDB監(jiān)控 |
MongoDB復(fù)制、副本集管理與分片 | ||
聚合框架與聚合管道操作符 | ||
MapReduce與PyMongo簡單操作 | ||
DStream轉(zhuǎn)換與窗口操作 | ||
圖創(chuàng)建方式與圖緩存管理 | ||
圖頂點(diǎn)與邊轉(zhuǎn)換 | ||
Flink概述 | ||
IDEA配置與運(yùn)行示例 | ||
商品實(shí)時(shí)推薦系統(tǒng) | ||
數(shù)據(jù)可視化技術(shù) | 功能介紹與文本數(shù)據(jù)組件 | |
圖表、多媒體與輸入組件 | ||
多頁應(yīng)用與社區(qū)云部署 | ||
基于大數(shù)據(jù)技術(shù)的產(chǎn)品良率分析 | ||
京東智能家居市場(chǎng)綜合分析 | ||
大數(shù)據(jù)應(yīng)用實(shí)戰(zhàn) | 機(jī)器學(xué)習(xí)技術(shù)與應(yīng)用 | MLlib機(jī)器學(xué)習(xí)算法庫與數(shù)據(jù)標(biāo)準(zhǔn)化 |
回歸、分類與聚類模型 | ||
關(guān)聯(lián)規(guī)則、協(xié)同過濾算法與模型評(píng)價(jià) | ||
電影智能推薦 | ||
信用卡高風(fēng)險(xiǎn)客戶識(shí)別 | ||
網(wǎng)絡(luò)入侵用戶自動(dòng)識(shí)別 | ||
深度學(xué)習(xí)框架與實(shí)踐 | 基于注意力機(jī)制的評(píng)論者滿意度分析 | |
語音識(shí)別中的HMM聲學(xué)模型 | ||
食品圖像數(shù)據(jù)分類識(shí)別 | ||
職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(高級(jí))職業(yè)技術(shù)考試 | ? |
四、報(bào)考條件
初級(jí):無要求 ,皆可報(bào)考。
中級(jí):(滿足其中一個(gè)條件即可)?
1.獲得初級(jí)證書。
2.年滿18周歲,具備高中以上學(xué)歷,工作年限滿1年
高級(jí):(滿足其中一個(gè)條件即可)
1.獲得中級(jí)證書。
2.年滿20周歲以上,工作年限滿2年
3.年滿20周歲以上,具備大專及以上學(xué)歷
五、考試方式
考試方式分為線下考試站點(diǎn)或線上考試系統(tǒng)統(tǒng)考兩種方式,考試形式為上機(jī)答題,閉卷。
考試題型:
初級(jí):120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
中級(jí):120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
高級(jí):120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
六、成績?cè)u(píng)分
考試最終成績滿分為100分,成績80-100分為優(yōu)秀;成績60-79分為合格;成績60分以下為不合格。
七、證書樣本
學(xué)員經(jīng)考核合格,由工業(yè)和信息化部教育與考試中心頒發(fā)大數(shù)據(jù)技術(shù)應(yīng)用工程師職業(yè)技術(shù)證書?,證書可登錄國家工信部教育與考試中心官網(wǎng)查詢。
證書樣本:
據(jù)技術(shù)應(yīng)用工程師-1.png)
八、官方指定報(bào)名渠道www.xmqqs.cn,詳情可咨詢:
必須備注:大數(shù)據(jù)技術(shù)應(yīng)用工程師
