大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)
大數(shù)據(jù)運(yùn)維工程師需要處理公司大數(shù)據(jù)平臺(tái)各類異常和故障，確保系統(tǒng)平臺(tái)的穩(wěn)定運(yùn)行。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)。
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)1
職責(zé):
1、技術(shù)保障各底層支撐系統(tǒng)的可靠性與穩(wěn)定性;
2、負(fù)責(zé)車輛網(wǎng)平臺(tái)的運(yùn)行監(jiān)控的解決方案編制、實(shí)施與二次功能開(kāi)發(fā);
3、負(fù)責(zé)技術(shù)文檔手冊(cè)編寫(xiě)，更新，經(jīng)驗(yàn)總結(jié)沉淀，培訓(xùn)分享;
4、負(fù)責(zé)對(duì)新技術(shù)和方案進(jìn)行調(diào)研，評(píng)估和引進(jìn)，用技術(shù)去提升運(yùn)維生產(chǎn)效率
任職資格:
1、熟悉常見(jiàn)的應(yīng)用服務(wù)部署和調(diào)優(yōu)(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負(fù)載均衡集群的規(guī)劃與搭建;
2、熟練使用Linux、TCP/IP網(wǎng)絡(luò)協(xié)議棧，了解常用的Troubleshooting手段和常見(jiàn)性能指標(biāo)
3、具有車聯(lián)網(wǎng)平臺(tái)運(yùn)維的經(jīng)驗(yàn)，精于容量規(guī)劃、架構(gòu)設(shè)計(jì)、性能優(yōu)化;
4、熟悉主流PaaS云產(chǎn)品的使用，具有運(yùn)維平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)者、參與過(guò)開(kāi)源產(chǎn)品的開(kāi)發(fā)者優(yōu)先;
5、優(yōu)秀的溝通能力，出色的學(xué)習(xí)與鉆研能力，良好的問(wèn)題分析與解決能力;
6、對(duì)行業(yè)技術(shù)敏感度高且細(xì)致，善于思考，樂(lè)于發(fā)現(xiàn)，對(duì)解決具有挑戰(zhàn)性問(wèn)題充滿激情。
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)2
職責(zé)：
1、負(fù)責(zé)維護(hù)服務(wù)器的運(yùn)行，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運(yùn)行狀態(tài);
2、負(fù)責(zé)服務(wù)器漏洞整改及補(bǔ)丁升級(jí);
3、負(fù)責(zé)hadoop運(yùn)維相關(guān)工作;
4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;
5、負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作。
任職資格：
1、2年左右服務(wù)器運(yùn)維經(jīng)驗(yàn);
2、對(duì)linux基礎(chǔ)運(yùn)維命令熟悉，shell,python至少精通一種，如會(huì)scala語(yǔ)言可優(yōu)先考慮;
3、熟悉Linux的維護(hù)和管理，熟悉bat及Shell腳本開(kāi)發(fā)，能看懂Python/Scala優(yōu)先;
4、做過(guò)大規(guī)模hadoop集群優(yōu)先;
5、大數(shù)據(jù)項(xiàng)目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺(tái)搭建，監(jiān)控，運(yùn)維，調(diào)優(yōu)、生產(chǎn)環(huán)境hadoop集群trouble shooting 、hadoop版本升級(jí)管理及優(yōu)化支持。
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)3
職責(zé):
1、負(fù)責(zé)Hadoop平臺(tái)搭建，運(yùn)維，管理，故障處理。
2、負(fù)責(zé)保障大數(shù)據(jù)平臺(tái)的高效運(yùn)轉(zhuǎn)、提升系統(tǒng)穩(wěn)定性和安全性。
3、對(duì)平臺(tái)的Hadoop，Hbase，Kafka，Hive等進(jìn)行優(yōu)化。
4、建立Hadoop集群管理和維護(hù)規(guī)范，包括版本管理和變更記錄等。
崗位要求:
1、有豐富的Hadoop生態(tài)系統(tǒng)的運(yùn)維經(jīng)驗(yàn)，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實(shí)施、維護(hù)hadoop 及相關(guān)組件的能力;
2、至少精通 Perl/Python/Shell腳本語(yǔ)言中的一種;
3、掌握Linux操作系統(tǒng)的配置，管理、優(yōu)化以及各種常用命令，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類問(wèn)題;
4、分析問(wèn)題能力優(yōu)秀，善于從各種系統(tǒng)、應(yīng)用日志中尋找出問(wèn)題的原因。
5、有獨(dú)立分析問(wèn)題和解決問(wèn)題的能力，能出差。
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)4
職責(zé)：
1.負(fù)責(zé)Hadoop、spark、hbase、oozie、hive等平臺(tái)運(yùn)營(yíng)和優(yōu)化工作，保障平臺(tái)服務(wù)運(yùn)行穩(wěn)定、高效。
2.負(fù)責(zé)大數(shù)據(jù)方案架構(gòu)及方案落地;
3.開(kāi)發(fā)Hadoop大數(shù)據(jù)管理平臺(tái)與監(jiān)控建設(shè);
3.負(fù)責(zé)hadoop平臺(tái)部署、維護(hù);生產(chǎn)問(wèn)題、告警、故障處理及服務(wù)器維護(hù)、日常值班;
4.負(fù)責(zé)集群網(wǎng)絡(luò)架構(gòu)、機(jī)器管理等。
任職資格：
1. 全日制本科以上學(xué)歷，三年以上后臺(tái)系統(tǒng)運(yùn)營(yíng)工作經(jīng)驗(yàn);
2. 熟悉hadoop原理，具有Hadoop平臺(tái)應(yīng)用及管理經(jīng)驗(yàn)，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開(kāi)源項(xiàng)目及部署、維護(hù)、調(diào)優(yōu);
3. 熟悉linux操作系統(tǒng)及調(diào)優(yōu);熟悉sql編程，熟悉Shell/Python/Java/Perl語(yǔ)言的一種或多種，有開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優(yōu)先;
4. 對(duì)大數(shù)據(jù)和自動(dòng)化運(yùn)維開(kāi)發(fā)有濃厚興趣，有大規(guī)模hadoop運(yùn)維經(jīng)驗(yàn)者優(yōu)先;有hadoop/hbase/spark/hive 開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)5
職責(zé)：
1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的穩(wěn)定性和性能優(yōu)化;
2. 負(fù)責(zé)大數(shù)據(jù)項(xiàng)目的運(yùn)維工作;
3. 針對(duì)業(yè)務(wù)需求制定統(tǒng)一的運(yùn)維解決方案;
4. 完善自動(dòng)監(jiān)控報(bào)警系統(tǒng)，對(duì)業(yè)務(wù)層面關(guān)鍵指標(biāo)進(jìn)行監(jiān)控與報(bào)警通知;
任職要求：
1、熟練掌握hadoop平臺(tái)搭建、維護(hù)，有平臺(tái)優(yōu)化經(jīng)驗(yàn);
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優(yōu)先;
3、熟悉騰訊云產(chǎn)品，有騰訊云EMR使用經(jīng)驗(yàn)者優(yōu)先考慮;
4、熟練掌握java、python語(yǔ)言，熟練使用SQL，并有一定的優(yōu)化能力
相關(guān)文章：