大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)
大數(shù)據(jù)需要負(fù)責(zé)公司產(chǎn)品的技術(shù)支持、安裝調(diào)試、客戶使用培訓(xùn)及相關(guān)硬件的安裝調(diào)試。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)。
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)1
職責(zé)：
1、負(fù)責(zé)和參與公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作，保障數(shù)據(jù)平臺(tái)服務(wù)的穩(wěn)定性和可用性;
2、研究大數(shù)據(jù)前沿技術(shù)，改進(jìn)現(xiàn)有系統(tǒng)的服務(wù)和運(yùn)維架構(gòu)，提升系統(tǒng)可靠性和可運(yùn)維性;
3、負(fù)責(zé)和參與自動(dòng)化運(yùn)維系統(tǒng)及平臺(tái)的建設(shè);
4、負(fù)責(zé)優(yōu)化部門(mén)運(yùn)維流程提升運(yùn)維效率。
任職要求：
1、統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，2年以上互聯(lián)網(wǎng)運(yùn)維工作經(jīng)驗(yàn);
2、熟悉Linux操作系統(tǒng)及常見(jiàn)開(kāi)源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優(yōu)化，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類(lèi)問(wèn)題;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運(yùn)維方式;
4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;
5、具有很強(qiáng)的責(zé)任心、執(zhí)行力、服務(wù)意識(shí)、學(xué)習(xí)能力和抗壓能力;
6、具備較好的溝通能力、主動(dòng)性和團(tuán)隊(duì)合作精神。
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)2
職責(zé)：
1、負(fù)責(zé)Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺(tái) 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等，確保高可用;
2、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維管理工作，集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化;
3、處理公司大數(shù)據(jù)平臺(tái)各類(lèi)異常和故障，確保系統(tǒng)平臺(tái)的穩(wěn)定運(yùn)行;
4、設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);
5、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運(yùn)維技及發(fā)展方向;
6、為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項(xiàng)目提供運(yùn)行環(huán)境支持。
崗位要求：
1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類(lèi)問(wèn)題;
2、熟練掌握Python, shell中的至少一門(mén)語(yǔ)言，有Python運(yùn)維工具開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
3、熟悉 Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實(shí)戰(zhàn)經(jīng)驗(yàn)，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群運(yùn)維經(jīng)驗(yàn)，以及大負(fù)載下的容量評(píng)估、問(wèn)題定位、架構(gòu)優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計(jì)算/存儲(chǔ))開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構(gòu)件及使用;
6、精通ELK系統(tǒng)，有過(guò)大規(guī)模ELK配置管理、調(diào)優(yōu)經(jīng)驗(yàn)，有過(guò)ElasticSearch搜索和分析引擎開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)3
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)的規(guī)劃、設(shè)計(jì)、搭建;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的運(yùn)維保障工作;
3、負(fù)責(zé)運(yùn)維相關(guān)數(shù)據(jù)分析，以及報(bào)表產(chǎn)出;
4、為線上服務(wù)高效穩(wěn)定運(yùn)行負(fù)責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;
5、深入理解大數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決重大故障及性能瓶頸;
6、研究跟進(jìn)大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)并分享。
工作要求：
1、熟悉大數(shù)據(jù)產(chǎn)品生態(tài)圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;
2、精通Linux/Unix系統(tǒng);
3、有數(shù)據(jù)分析經(jīng)驗(yàn)優(yōu)先，精通一門(mén)以上腳本語(yǔ)言(shell/perl/python等)，熟悉java/C/C++/Golang等開(kāi)發(fā)語(yǔ)言一種及以上;
4、有2年以上大數(shù)據(jù)平臺(tái)相關(guān)運(yùn)維開(kāi)發(fā)經(jīng)驗(yàn)，了解分布式平臺(tái)運(yùn)行的原理，并有實(shí)際部署維護(hù)經(jīng)驗(yàn);
5、學(xué)習(xí)能力和主動(dòng)性強(qiáng)，具有鉆研精神，充滿激情，樂(lè)于接受挑戰(zhàn);
6、良好的服務(wù)意識(shí)，善于團(tuán)隊(duì)協(xié)作，項(xiàng)目管理，主動(dòng)思考，自我驅(qū)動(dòng)力強(qiáng)。
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)4
1.負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;
2.負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化;
3.負(fù)責(zé)大數(shù)據(jù)集群性能監(jiān)控與優(yōu)化，故障處理，數(shù)據(jù)備份及容災(zāi)恢復(fù)，集群出現(xiàn)異常時(shí)，能快速定位問(wèn)題，并及時(shí)給出解決方案;
4.設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);
5.參與/主導(dǎo)業(yè)務(wù)架構(gòu)設(shè)計(jì)，在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;
6.深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運(yùn)維技術(shù)及發(fā)展方向;
7.參與例如服務(wù)器維護(hù)、項(xiàng)目維護(hù)、監(jiān)控維護(hù)等常見(jiàn)運(yùn)維事務(wù)
大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)5
職責(zé)：
1. 完成大數(shù)據(jù)平臺(tái)日常運(yùn)維工作(上線/日常監(jiān)控/問(wèn)題定位/腳本開(kāi)發(fā))，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開(kāi)源組件;
2. 完成大數(shù)據(jù)自研平臺(tái)工具運(yùn)營(yíng)，比如報(bào)表平臺(tái)、調(diào)度平臺(tái)和性能監(jiān)控平臺(tái);
3. 提升系統(tǒng)可靠性，完善監(jiān)控策略，優(yōu)化運(yùn)維流程，提升部門(mén)運(yùn)維效率，保證7*24服務(wù);
4. 參與開(kāi)源社區(qū)建設(shè)，提升公司開(kāi)源影響力;
任職條件：
1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開(kāi)源組件的搭建、維護(hù)以及問(wèn)題定位;
2. 熟悉Linux操作系統(tǒng)，熟練掌握Linux常用命令,了解ansible/puppet;
3. 熟練掌握shell/python/java;
4. 熟悉hive/spark sql工作原理，熟悉SQL語(yǔ)法，掌握數(shù)據(jù)庫(kù)的維護(hù)工作;
5. 對(duì)自動(dòng)化運(yùn)維有一定見(jiàn)解，使用過(guò)各種開(kāi)源工具完成日常運(yùn)維工作;
6. 有大數(shù)據(jù)平臺(tái)維護(hù)經(jīng)驗(yàn)優(yōu)先;
7. 掌握dockerfile，了解大數(shù)據(jù)與k8s結(jié)合者優(yōu)先;
8. 參與開(kāi)源社區(qū)，有代碼貢獻(xiàn)或者高質(zhì)量博客文章者優(yōu)先;
相關(guān)文章：