大數據運維工程師的職責精選
大數據運維工程師的職責精選
大數據運維工程師負責大數據平臺的穩定性和性能優化。下面是學習啦小編為您精心整理的大數據運維工程師的職責精選。
大數據運維工程師的職責精選1
職責：
1、負責大數據平臺Hawq數據庫運維;
2、負責大數據平臺Tbase數據庫運維;
3、負責傳統數據(Oracle、MySQL等數據庫)數據遷移、數據同步;
4、負責日常數據庫的監控及問題分析排查;
5、負責OGG、Kafafa等組件數據傳輸同步日常運維;
6、負責數據庫的優化、SQL語句的優化調優;
7、負責數據同步的檢驗與異常處理，確保數據的一致性、完整性、及時性;
8、負責制定數據同步方案及實施。
任職要求：
1、大?；蛞陨蠈W歷，計算機或統計類相關專業
2、有3年以上技術類或數據類的開發經驗;
3、熟練linux 系統操作及linux 運維監控、軟件安裝配置;
4、熟悉大數據技術，如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數據庫mysql/sql serverl/oracle/postgreSQL等，精通SQL語句，對復雜SQL能進行優化，能熟練編寫存儲過程;
6、熟練Linux SHELL，可以進行運維SHELL開發;
7、學習能力強，責任心強，具有優秀的溝通表達、理解能力與團隊合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統，有Shell腳本編寫經驗的優先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數據倉庫的實際運維經驗或3年以上 HIVE、SPARK 實際項目運維經驗
10、在實際項目中，有異構數據庫遷移經驗，從傳統ORACLE,MYSQL遷移至MPP數據倉庫的實戰經驗.
大數據運維工程師的職責精選2
職責:
1. 負責公司核心集群的運維工作, 任務調度、監控預警，持續完善大數據平臺，保證穩定性、安全性;
2. 負責集群容量規劃、擴容及集群性能優化;
3. 基于大數據應用需求，持續優化Hadoop框架及組件的配置，提升性能;
任職資格：
1.大專以上計算機，通信和網絡相關專業;
2.3年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗;
3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗;
4.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗;
5.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作;
6.熟悉Kerberos安全認證系統，實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作;
7.能維護Hadoop源碼，有Hadoop 源代碼BUG修復或者源代碼優化經驗者優先;
8.有Cloudera的CM使用經驗尤佳。
大數據運維工程師的職責精選3
職責：
1負責政務云平臺、政務應用系統中數據庫業務的日常運維，保障平臺及應用系統服務7*24穩定可靠高效運行
2負責數據庫性能調優，了解鎖與隔離機制，協助客戶解決數據庫性能瓶頸
3制定數據庫使用規范，制定數據庫備份、升級、遷移規劃并部署實施
4參與數據庫設計工作，提高數據庫維護自動化水平
5熟悉Linux操作系統，熟練使用Python，Go，Shell等至少一種語言
崗位要求：
1) 5年以上 Oracle/MySQL DBA 從業經驗;
2) 熟練掌握 Oracle/MySQL 數據庫的基礎理論知識、運行機制、體系架構、高可用方案、備份機制、容災機制等;
3) 熟練掌握數據庫性能優化，了解主流的分布式數據庫 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系統，對服務器硬件有一定了解;
5) 熟練掌握 golang、Python、Java 等語言中的一種;
6) 熟悉阿里云產品線，具備ACP認證者優先考慮;
大數據運維工程師的職責精選4
職責：
- 負責局點大數據平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效運行;
- 深入理解公司大數據平臺架構，發現并解決性能瓶頸，支撐業務和數據量的快速增長;
- 開發大數據自動化運維、監控報警、故障處理相關腳本和工具;
- 負責Hadoop/spark/Kafka等集群服務、業務監控、持續交付、應急響應、容量規劃等。
要求：
- 4年以上運維相關工作經驗，有大數據平臺運維相關工作經驗優先;
- 具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協議;
- 熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化，熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;
- 熟悉Hadoop大數據生態圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實現，有實際部署維護、管理( 包括元數據管理)及優化經驗。并擁有持續調優能力，運維管理過大規模數據平臺;
- 熟悉掌握常用的安全協議和組件服務，對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;
- 熟悉常用運維監控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關插件的開發。比如郵件、短信、微信報警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;
- 具備良好的服務意識，善于主動思考，自我驅動力強。有良好的溝通、協調能力，富有團隊精神，有較強的文檔編寫能力;
- 有大數據開發經驗和閱讀源碼能力者優先
大數據運維工程師的職責精選5
職責：
1、負責銀行各類應用系統的運維標準制定和運維管理等工作;
2、負責銀行各類應用系統的運行情況及相關技術的整理、分析和總結等工作;
3、負責銀行各類應用系統的應用監控、應用運維體系工具的建設和維護工作;
4、負責銀行各類應用系統的自動化腳本編寫和測試工作。
招聘要求：
1、全日制一本以及以上學歷，理工類專業;
2、具備2年及以上應用系統運維或應用系統開發經驗，有銀行應用系統運維或開發經驗者優先;
3、具備較強的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達能力和團隊合作精神，具有較強的工作責任心和主動性;
5、至少具備以下二項技能：
(1)熟悉銀行應用系統體系架構、應用運維標準化流程;
(2)熟悉AIX、LInux操作系統相關運維工作，具備熟練的SHELL腳本編程能力;
(3)熟悉應用軟件持續集成和持續發布交付項目的整體流程，熟悉Jenkins、Nexus等相關Devops工具;
(4)熟練使用容器平臺相關技術，有容器平臺管理工作、應用容器打包的相關經驗;
(5)熟練使用Golang或者Python編程。
相關文章：