一、大數(shù)據(jù)技術(shù)應(yīng)用工程師項目簡介
大數(shù)據(jù)技術(shù)應(yīng)用工程師是由工業(yè)和信息化部教育與考試中心推出一套專業(yè)化?,科學(xué)化?,系統(tǒng)化的人才考核標(biāo)準(zhǔn)?,涉及在互聯(lián)網(wǎng)、零售、金融、??電信、醫(yī)學(xué)、旅游、新聞媒體等行業(yè)專門從事數(shù)據(jù)采集、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、人工智能并能制作業(yè)務(wù)報告、提供決策的新型數(shù)據(jù)分析人才所需要的技能。
“大數(shù)據(jù)技術(shù)應(yīng)用工程師?”是對在數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能領(lǐng)域中使用大數(shù)據(jù)據(jù)技術(shù)作為主要方法從業(yè)者的全面考核,分為初級,?中級?,高級三個等級。
二、能力標(biāo)準(zhǔn)
1、大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級)
需要掌握 Python 編程基礎(chǔ)、Python 常用數(shù)據(jù)分析及處理工具 numpy、?pandas、scikit-learn,能以 Python 作為工具,解決基本的數(shù)據(jù)分析問題。能??夠理解業(yè)務(wù)目標(biāo)?,并能將業(yè)務(wù)目標(biāo)初步轉(zhuǎn)化為大數(shù)據(jù)技術(shù)與應(yīng)用問題?,能結(jié)合???具體技術(shù)進(jìn)行初步目標(biāo)實現(xiàn)。適合政府、金融、電信、零售等行業(yè)前端業(yè)務(wù)及???從事市場、管理、財務(wù)、供應(yīng)、咨詢等職位的相關(guān)人員。
2、大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級)
一年以上大數(shù)據(jù)分析應(yīng)用工作經(jīng)驗 ,或已獲得大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級)證書。掌握 Python 編程基礎(chǔ);常用數(shù)據(jù)分析及處理工具 numpy、 pandas、matplotlib、scikit-learn;Python 數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)、常規(guī)案例應(yīng)用,能夠?qū)I(yè)務(wù)目標(biāo)準(zhǔn)確轉(zhuǎn)化為大數(shù)據(jù)技術(shù)與應(yīng)用目標(biāo) ,能將業(yè)務(wù)目標(biāo)拆解成不同任 務(wù)并找到對應(yīng)技術(shù)實現(xiàn)方法 ,提升工作價值。適合政府、金融、電信、零售、 互聯(lián)網(wǎng)、電商、 醫(yī)學(xué)等行業(yè)專門從事大數(shù)據(jù)分析應(yīng)用的人員。
3、大數(shù)據(jù)技術(shù)應(yīng)用工程師(高級)
三年以上大數(shù)據(jù)分析應(yīng)用崗位工作經(jīng)驗,或已獲得大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級)證書。掌握 Python 編程基礎(chǔ);?Python 常用數(shù)據(jù)分析及處理工具 numpy、pandas、matplotlib、scikit-learn;?數(shù)據(jù)可視化、?自然語言處理、網(wǎng)絡(luò)爬蟲、?人工智能應(yīng)用、機(jī)器學(xué)習(xí)、多行業(yè)多領(lǐng)域大數(shù)據(jù)技術(shù)應(yīng)用、深度學(xué)習(xí)、典型人???工智能應(yīng)用?,能充分理解業(yè)務(wù)目標(biāo)?,并將業(yè)務(wù)目標(biāo)精準(zhǔn)轉(zhuǎn)換、拆分為具體技術(shù)???任務(wù);具有超強(qiáng)數(shù)據(jù)規(guī)劃能力,不僅能自主完成各環(huán)節(jié)任務(wù)還能帶領(lǐng)數(shù)據(jù)分析???團(tuán)隊完成大型項目?,為企業(yè)生產(chǎn)賦能。適合政府、金融、電信、零售、互聯(lián)網(wǎng)、?電商、?醫(yī)學(xué)等行業(yè)數(shù)據(jù)分析應(yīng)用資深人員。
三、課程內(nèi)容
初級:班級鏈接:
| 階段 | 課程 | 知識模塊 |
| 必備技能 | Linux操作系統(tǒng)基礎(chǔ) | Linux概述 |
| Linux系統(tǒng)安裝 | ||
| Linux基本命令 | ||
| Linux Vi編輯器 | ||
| Linux Shell編程 | ||
| MySQL數(shù)據(jù)分析基礎(chǔ) | MySQL安裝 | |
| 可視化工具Navicat安裝 | ||
| 數(shù)據(jù)庫基礎(chǔ) | ||
| 基礎(chǔ)命令 | ||
| 授權(quán)管理 | ||
| Navincat工具使用介紹 | ||
| 數(shù)據(jù)庫的創(chuàng)建和刪除 | ||
| INSERT語句插入數(shù)據(jù) | ||
| SELECT查詢語句 | ||
| WHERE條件 | ||
| GROUP BY分組查詢 | ||
| Scala編程基礎(chǔ) | ?Scala簡介 | |
| ?Scala安裝配置 | ||
| Scala基礎(chǔ)語法 | ||
| ?函數(shù) | ||
| 案例實戰(zhàn) | 基于MySQL的優(yōu)惠券特征處理 | 背景&需求說明 |
| 數(shù)據(jù)字段說明 | ||
| 標(biāo)簽列構(gòu)建 | ||
| 標(biāo)簽列構(gòu)建 | ||
| 表合并&小結(jié) | ||
| 職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(初級)職業(yè)技術(shù)考試 | ? |
中級:
| 階段 | 課程 | 知識模塊 |
| 大數(shù)據(jù)基礎(chǔ) | 大數(shù)據(jù)技術(shù)導(dǎo)論 | 認(rèn)識大數(shù)據(jù) |
| 建立大數(shù)據(jù)思維 | ||
| 機(jī)器學(xué)習(xí)簡介 | ||
| 數(shù)據(jù)可視化概述 | ||
| 大數(shù)據(jù)采集與存儲技術(shù) | 數(shù)據(jù)采集 | 爬蟲環(huán)境簡介 |
| 網(wǎng)頁前端基礎(chǔ) | ||
| 簡單靜態(tài)網(wǎng)頁爬取 | ||
| 常規(guī)動態(tài)網(wǎng)頁爬取 | ||
| 模擬登陸 | ||
| 數(shù)據(jù)存儲 | Hadoop相關(guān)概述 | |
| 安裝虛擬機(jī)與Java | ||
| Hadoop集群部署模式與固定IP | ||
| Hadoop集群配置與啟動 | ||
| Hadoop安全模式與HDFS操作 | ||
| MapReduce操作 | ||
| Hive安裝配置 | ||
| 工程創(chuàng)建與數(shù)據(jù)導(dǎo)入 | ||
| 數(shù)據(jù)統(tǒng)計分析 | ||
| Hive自定義函數(shù) | ||
| 大數(shù)據(jù)處理與分析技術(shù) | 分布式計算 | 安裝配置 |
| 架構(gòu)及原理 | ||
| RDD創(chuàng)建與transformation算子 | ||
| 鍵值對RDD算子與action算子 | ||
| 文件讀取與時長統(tǒng)計 | ||
| 搭建開發(fā)環(huán)境與SQL配置 | ||
| 創(chuàng)建DataFrame | ||
| DataFrame API操作 | ||
| 數(shù)據(jù)保存與DataSet操作 | ||
| 大數(shù)據(jù)實時處理 | Storm分布式安裝 | |
| 架構(gòu)及相關(guān)概念 | ||
| 開發(fā)環(huán)境配置 | ||
| 集群運行與并行度 | ||
| Storm集成Hadoop | ||
| 可視化分析 | seaborn繪圖基礎(chǔ) | |
| seaborn圖表類型 | ||
| 交互式繪圖 | ||
| 大數(shù)據(jù)應(yīng)用 | 機(jī)器學(xué)習(xí)基礎(chǔ) | 構(gòu)建回歸模型 |
| 構(gòu)建決策樹模型 | ||
| 構(gòu)建KNN與非線性支持向量機(jī) | ||
| 神經(jīng)網(wǎng)絡(luò)與集成算法 | ||
| Kmeans聚類算法 | ||
| 密度聚類 | ||
| 層次聚類與關(guān)聯(lián)規(guī)則 | ||
| 基于用戶的協(xié)同過濾推薦 | ||
| 基于流行度推薦 | ||
| 時間序列 | ||
| 深度學(xué)習(xí)基礎(chǔ) | 構(gòu)建線性模型 | |
| 手寫數(shù)字識別 | ||
| 項目實戰(zhàn) | 電影用戶性別預(yù)測 | 案例介紹 |
| 評分?jǐn)?shù)據(jù)與用戶數(shù)據(jù) | ||
| 統(tǒng)計用戶對不同電影類型的訪問次數(shù) | ||
| 數(shù)據(jù)拆分流程分析與實戰(zhàn) | ||
| 模型構(gòu)建與評估 | ||
| 職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(中級)職業(yè)技術(shù)考試 | ? |
?高級:
| 階段 | 課程 | 知識模塊 |
| 大數(shù)據(jù)基礎(chǔ) | 大數(shù)據(jù)技術(shù)導(dǎo)論 | 大數(shù)據(jù)時代下的存儲技術(shù) |
| 大數(shù)據(jù)認(rèn)知 | ||
| 機(jī)器學(xué)習(xí)概述 | ||
| 模型評估 | ||
| 大數(shù)據(jù)數(shù)學(xué)基礎(chǔ) | 回歸、判別與聚類分析 | |
| 主成分、因子與典型相關(guān)分析 | ||
| 大數(shù)據(jù)采集與存儲技術(shù) | 數(shù)據(jù)采集技術(shù) | 網(wǎng)絡(luò)爬蟲框架 |
| 簡介與快速入門 | ||
| Agent組件類型 | ||
| 攔截器、Channel選擇器和Sink處理器 | ||
| 常見的采集配置 | ||
| 多Agent數(shù)據(jù)采集 | ||
| 廣告系統(tǒng)日志數(shù)據(jù)采集分析 | ||
| 廣告曝光日志數(shù)據(jù)采集分析 | ||
| 用戶行為日志數(shù)據(jù)采集分析 | ||
| 農(nóng)產(chǎn)品信息采集與分析 | ||
| 數(shù)據(jù)存儲技術(shù) | 數(shù)據(jù)倉庫 | |
| 數(shù)據(jù)庫管理系統(tǒng)與數(shù)據(jù)存儲 | ||
| 查詢事務(wù)管理與系統(tǒng)結(jié)構(gòu) | ||
| 分布式文件系統(tǒng)概述 | ||
| 環(huán)境配置 | ||
| Hadoop集群配置與啟動 | ||
| Hadoop安全模式與HDFS操作 | ||
| 非關(guān)系型數(shù)據(jù)庫概述 | ||
| MongoDB部署模式與數(shù)據(jù)分片 | ||
| 系統(tǒng)部署單節(jié)點MongoDB | ||
| Linux系統(tǒng)部署MongoDB副本集與分片集群 | ||
| 數(shù)據(jù)庫管理工具 | ||
| 大數(shù)據(jù)處理與分析技術(shù) | 數(shù)據(jù)處理技術(shù) | 創(chuàng)建數(shù)據(jù)庫用戶與MongoDB監(jiān)控 |
| MongoDB復(fù)制、副本集管理與分片 | ||
| 聚合框架與聚合管道操作符 | ||
| MapReduce與PyMongo簡單操作 | ||
| DStream轉(zhuǎn)換與窗口操作 | ||
| 圖創(chuàng)建方式與圖緩存管理 | ||
| 圖頂點與邊轉(zhuǎn)換 | ||
| Flink概述 | ||
| IDEA配置與運行示例 | ||
| 商品實時推薦系統(tǒng) | ||
| 數(shù)據(jù)可視化技術(shù) | 功能介紹與文本數(shù)據(jù)組件 | |
| 圖表、多媒體與輸入組件 | ||
| 多頁應(yīng)用與社區(qū)云部署 | ||
| 基于大數(shù)據(jù)技術(shù)的產(chǎn)品良率分析 | ||
| 京東智能家居市場綜合分析 | ||
| 大數(shù)據(jù)應(yīng)用實戰(zhàn) | 機(jī)器學(xué)習(xí)技術(shù)與應(yīng)用 | MLlib機(jī)器學(xué)習(xí)算法庫與數(shù)據(jù)標(biāo)準(zhǔn)化 |
| 回歸、分類與聚類模型 | ||
| 關(guān)聯(lián)規(guī)則、協(xié)同過濾算法與模型評價 | ||
| 電影智能推薦 | ||
| 信用卡高風(fēng)險客戶識別 | ||
| 網(wǎng)絡(luò)入侵用戶自動識別 | ||
| 深度學(xué)習(xí)框架與實踐 | 基于注意力機(jī)制的評論者滿意度分析 | |
| 語音識別中的HMM聲學(xué)模型 | ||
| 食品圖像數(shù)據(jù)分類識別 | ||
| 職業(yè)技術(shù)考核 | 大數(shù)據(jù)技術(shù)應(yīng)用工程師(高級)職業(yè)技術(shù)考試 | ? |
四、報考條件
初級:無要求 ,皆可報考。
中級:(滿足其中一個條件即可)?
1.獲得初級證書。
2.年滿18周歲,具備高中以上學(xué)歷,工作年限滿1年
高級:(滿足其中一個條件即可)
1.獲得中級證書。
2.年滿20周歲以上,工作年限滿2年
3.年滿20周歲以上,具備大專及以上學(xué)歷
五、考試方式
考試方式分為線下考試站點或線上考試系統(tǒng)統(tǒng)考兩種方式,考試形式為上機(jī)答題,閉卷。
考試題型:
初級:120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
中級:120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
高級:120 分鐘,單選題+多選題+判斷題+操作題+簡答題,上機(jī)答題。
六、成績評分
考試最終成績滿分為100分,成績80-100分為優(yōu)秀;成績60-79分為合格;成績60分以下為不合格。
七、證書樣本
學(xué)員經(jīng)考核合格,由工業(yè)和信息化部教育與考試中心頒發(fā)大數(shù)據(jù)技術(shù)應(yīng)用工程師職業(yè)技術(shù)證書?,證書可登錄國家工信部教育與考試中心官網(wǎng)查詢。
證書樣本:
據(jù)技術(shù)應(yīng)用工程師-1.png)
八、官方指定報名渠道www.xmqqs.cn,詳情可咨詢:
必須備注:大數(shù)據(jù)技術(shù)應(yīng)用工程師













?津公網(wǎng)安備12011002023007號