大數據運維工程師的具體職責描述
大數據運維工程師的具體職責描述
大數據運維工程師需要負責公司大數據平臺的運維管理工作，集群容量規劃、擴容及性能優化。下面是學習啦小編為您精心整理的大數據運維工程師的具體職責描述。
大數據運維工程師的具體職責描述1
職責：
1、負責數據平臺的運維管理工作(部署、監控、優化、故障處理);
2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;
3、負責大數據平臺的用戶管理、權限分配、資源分配;
4、參與數據挖掘、機器學習的平臺的設計、并給出可執行的運維方案;
5、參與數據平臺的相關工具開發(包括自動化部署、監控、ETL等);
6、深入理解數據平臺架構，發現并解決故障隱患及性能瓶頸;
7、ETL工具、調度工具、關系型數據庫的運維。
任職資格：
1、本科以上學歷，計算機軟件相關專業;
2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;
3、深入理解Linux系統，能獨立部署開源軟件，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;
4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。
大數據運維工程師的具體職責描述2
職責
1. 負責大數據ETL系統，運維及保障服務穩定可用;
2. 負責數據采集交換方案以及聯調測試;
3. 負責采集交換任務的評審和上線;
4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;
5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平臺建議
技能要求
1. 計算機科學或相關專業本科及以上學歷;
2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;
3. 熟悉Hive、Hadoop、MapReduce集群原理，有hadoop大數據平臺運維經驗者優先;
4. 熟悉數據庫的性能優化、SQL調優，有相應經驗;
5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。
大數據運維工程師的具體職責描述3
職責：
1、負責分布式大數據平臺產品的運維和運維開發，保證其高可用和穩定性;
2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、集群性能;
3、通過技術手段控制和優化成本，通過自動化工具及流程提升大數據平臺運維效率;
4、為項目開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
任職資格：
1、三年以上大數據運維相關工作經驗，有大型互聯網公司工作經驗者優先，全日制本科及以上學歷;
2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;
3、精通Hadoop生態及高性能緩存相關的各種工具并有實戰經驗，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用關系數據庫，熟練編寫SQL語句，有分布式nosql數據庫應用、性能調優經驗優先;
5、熟悉Linux環境，能夠熟悉使用shell腳本;
6、對大數據技術有強烈興趣，有志于往大數據方向深層次發展;
7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;
8、具備較好的溝通能力、主動性及責任感。
大數據運維工程師的具體職責描述4
職責：
1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;
2、負責大數據批處理管理以及運維;
3、負責大數據集群的用戶管理、權限管理、資源管理、性能優化等;
4、深入理解數據平臺架構，發現并解決重大故障及性能瓶頸，打造一流的數據平臺;
5、跟進大數據前沿技術，不斷優化數據集群;
6、有華為大數據平臺運維經驗優先;
崗位要求：
1、1年以上大數據運維或開發經驗;
2、有良好的計算機和網絡基礎，熟悉linux文件系統、內核、性能調優，TCP/IP、HTTP等協議;
3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;
4、熟練使用shell、python等腳本語言開發相關運維管理工具;
5、良好的文檔撰寫習慣;
大數據運維工程師的具體職責描述5
職責：
1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平臺，保證穩定性、安全性;
2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;
3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。
任職要求：
1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常服務器的運維;
2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;
3、熟悉軟硬件設備，網絡原理，有豐富的大數據平臺部署，性能優化和運維經驗;
4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;
5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟件完成工作任務;
6、熟悉JVM虛擬機調優;
8、1年及以上相關崗位經驗，要有良好的安全和責任意識。
相關文章：