數(shù)據(jù)倉庫工程師崗位的工作職責(zé)
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)
數(shù)據(jù)倉庫需要參與公司大數(shù)據(jù)平臺(tái)的建設(shè),包括Sugar報(bào)表或神策接口配置,用戶畫像標(biāo)簽體系的開發(fā)等。下面是學(xué)習(xí)啦小編為您精心整理的數(shù)據(jù)倉庫工程師崗位的工作職責(zé)。
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)1
職責(zé):
1、參與據(jù)倉庫的長期架構(gòu)規(guī)劃,與數(shù)據(jù)開發(fā),建設(shè)共享大數(shù)據(jù)平臺(tái);
2、負(fù)責(zé)數(shù)據(jù)平臺(tái)相關(guān)數(shù)據(jù)管理工作,如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動(dòng)實(shí)施落地;
3、負(fù)責(zé)來自業(yè)務(wù)團(tuán)隊(duì)數(shù)據(jù)需求的研發(fā)支撐;
4、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)和維護(hù);
5、在線和離線海量數(shù)據(jù)分析平臺(tái)的開發(fā);
6、負(fù)責(zé)數(shù)據(jù)倉庫的建設(shè)和維護(hù),包括需求調(diào)研分析、軟件規(guī)劃、概念模型、設(shè)計(jì)邏輯、物理模型、數(shù)據(jù)處理(抽取、清洗、轉(zhuǎn)化)、項(xiàng)目實(shí)施管控等;
7、負(fù)責(zé)制定數(shù)據(jù)接入和采集規(guī)范制定。
任職要求:
1、從事數(shù)據(jù)倉庫領(lǐng)域工作2年以上;
2、熟悉數(shù)據(jù)建模、ETL設(shè)計(jì)與應(yīng)用、報(bào)表開發(fā)等,并有實(shí)際模型設(shè)計(jì)及ETL開發(fā)經(jīng)驗(yàn) ;具有良好的編程習(xí)慣和文檔編寫習(xí)慣;
3、熟悉數(shù)據(jù)倉庫領(lǐng)域知識(shí)和管理技能,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、性能調(diào)優(yōu)等;
4、掌握大型數(shù)據(jù)庫開發(fā)技術(shù),如Oracle、Teradata、DB2、Mysql等等掌握至少其中一種,靈活運(yùn)用SQL實(shí)現(xiàn)海量數(shù)據(jù)ETL加工處理;
5、了解大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺(tái) ,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),有MapReduce開發(fā)的實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先考慮;
6、熟悉linux系統(tǒng);
7、熟練掌握python語言;
8、熟悉數(shù)據(jù)可視化的基本方法,有數(shù)據(jù)可視化的開發(fā)經(jīng)驗(yàn)優(yōu)先;
9、對(duì)數(shù)據(jù)敏感,具有良好的邏輯分析、責(zé)任心強(qiáng)、良好的對(duì)外溝通和團(tuán)隊(duì)協(xié)作能力
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)2
職責(zé):
1. 負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、設(shè)計(jì)、優(yōu)化和落地
2. 負(fù)責(zé)數(shù)據(jù)ETL任務(wù)開發(fā)及日常維護(hù)
3. 對(duì)數(shù)據(jù)ETL任務(wù)進(jìn)行性能調(diào)優(yōu)及性能瓶頸分析
4. 學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè),全日制本科及以上學(xué)歷,2-5年工作經(jīng)驗(yàn)
2. 熟悉數(shù)據(jù)倉庫理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn)
3. 熟練使用 SHELL或PYTHON
4. 熟悉HADOOP相關(guān)的大數(shù)據(jù)技術(shù):HDFS, MAPREDUCE, HIVE
5. 能對(duì)HIVE進(jìn)行性能分析及調(diào)優(yōu)
6. 有MAPREDUCE開發(fā)經(jīng)驗(yàn)優(yōu)先
7. 良好的溝通能力、組織協(xié)調(diào)能力、應(yīng)變能力, 極強(qiáng)的責(zé)任心、學(xué)習(xí)能力。
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)3
職責(zé):
參與數(shù)據(jù)倉庫模型設(shè)計(jì)和開發(fā)工作;
負(fù)責(zé)建立數(shù)據(jù)分析模型,設(shè)計(jì)前端報(bào)表,數(shù)據(jù)可視化開發(fā);
負(fù)責(zé)數(shù)據(jù)平臺(tái)項(xiàng)目數(shù)據(jù)倉庫的管理、性能監(jiān)控及優(yōu)化等;
負(fù)責(zé)數(shù)據(jù)平臺(tái)的日常運(yùn)維及優(yōu)化
職位要求:
大學(xué)本科以上學(xué)歷,3年以上工作經(jīng)驗(yàn),包含2年以上數(shù)據(jù)倉庫開發(fā)工作經(jīng)驗(yàn);
精通數(shù)據(jù)倉庫建設(shè),熟悉常用的模型設(shè)計(jì)方法;
對(duì)數(shù)據(jù)可視化有豐富的經(jīng)驗(yàn),熟悉常用的數(shù)據(jù)分析方法;熟悉至少一種報(bào)表工具開發(fā);
精通數(shù)據(jù)倉庫領(lǐng)域知識(shí)和技能,包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等;
熟練使用ETL工具如Kettle、SSIS等進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換、整合;
熟悉至少兩種關(guān)系型數(shù)據(jù)庫,如Oracle、SQL Server、PostgreSQL、MySql等主流數(shù)據(jù)庫,精通SQL Server開發(fā)和運(yùn)維者優(yōu)先考慮;
有完整的數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)者優(yōu)先;
熟悉使用Linux系統(tǒng)及Shell腳本開發(fā),熟練開發(fā)Python程序者優(yōu)先;
熟悉大數(shù)據(jù)開發(fā)框架者優(yōu)先,如Spark,F(xiàn)link等;
對(duì)新技術(shù)好奇愛學(xué)習(xí),主動(dòng)性和責(zé)任心強(qiáng),對(duì)數(shù)據(jù)敏感,邏輯性強(qiáng),有良好的抗壓能力;
團(tuán)隊(duì)協(xié)作能力強(qiáng)
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)4
職責(zé):
1、基于互聯(lián)網(wǎng)行業(yè)特點(diǎn)構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉庫架構(gòu),建設(shè)PB級(jí)共享數(shù)據(jù)平臺(tái);
2、負(fù)責(zé)數(shù)據(jù)平臺(tái)相關(guān)數(shù)據(jù)研發(fā)及管理工作,參與制定EDW相關(guān)規(guī)范并推動(dòng)實(shí)施落地;
3、對(duì)海量數(shù)據(jù)處理的相關(guān)需求進(jìn)行評(píng)估及方案設(shè)計(jì);
4、負(fù)責(zé)數(shù)據(jù)產(chǎn)品如用戶畫像等模型設(shè)計(jì);
5、了解行業(yè)前沿大數(shù)據(jù)處理方法。
任職資格:
1、8年以上數(shù)據(jù)倉庫開發(fā)及管理經(jīng)驗(yàn),5年以上互聯(lián)網(wǎng)/電商行業(yè)經(jīng)驗(yàn);
2、精通數(shù)據(jù)倉庫建設(shè)方法論,有大型數(shù)據(jù)倉庫建設(shè)項(xiàng)目經(jīng)驗(yàn)(PB級(jí)以上);
3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理;
4、精通HiveSQL,有較豐富的HiveSQL性能調(diào)優(yōu)經(jīng)驗(yàn);
5、至少熟練使用Shell、Python、Perl等腳本語言之一;
6、工作認(rèn)真、負(fù)責(zé),有良好的團(tuán)隊(duì)合作精神,良好的分析及溝通能力;
數(shù)據(jù)倉庫工程師崗位的工作職責(zé)5
職責(zé):
1 負(fù)責(zé)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫多維模型設(shè)計(jì)
2 負(fù)責(zé)大數(shù)據(jù)平臺(tái)相關(guān)生產(chǎn)系統(tǒng)數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換等工作
3 負(fù)責(zé)BI平臺(tái)設(shè)計(jì)與報(bào)表開發(fā)工作
崗位要求:
1、精通數(shù)據(jù)倉庫建模理論,有參與過2個(gè)以上的數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn);
2、精通ETL開發(fā),熟悉數(shù)據(jù)的抽取、常用數(shù)據(jù)腳本編寫、存儲(chǔ)過程的編寫;
3、熟悉BI平臺(tái),有數(shù)據(jù)報(bào)表設(shè)計(jì)和開發(fā)經(jīng)驗(yàn);
4、熟悉SQL,掌握Oracle、PostgreSQL、MySql等至少一種主流關(guān)系數(shù)據(jù)庫;
5、具備良好的團(tuán)隊(duì)協(xié)作精神,良好的溝通能力;
6、供應(yīng)鏈、物流行業(yè)數(shù)據(jù)從業(yè)經(jīng)歷者優(yōu)先。
相關(guān)文章: