大數據開發工程師崗位的主要職責概述
| 相關文章↓↓↓ |
|---|
| №.1大數據開發工程師的主要職責精選 |
| №.2大數據開發工程師的工作職責模板 |
| №.3大數據開發工程師的基本職責 |
| №.4大數據開發工程師的崗位職責 |
大數據開發工程師負責大數據平臺的技術和產品的設計、開發、優化和維護。下面是小編為大家帶來的大數據開發工程師崗位的主要職責概述八篇，希望大家能夠喜歡!
大數據開發工程師崗位的主要職責1
職責：
1、 規劃及建設大數據平臺;
2、 負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發以及維護、優化工作;
3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;
4、 參與項目的系統設計和核心代碼開發，指導和培訓其他工程師;
5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。
崗位要求：
1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發相關經驗;
2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎扎實，熟悉常見的數據結構，了解分布式算法和分布式系統的技術原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數據相關軟件有充分的了解，并且有實踐經驗，能解決應用中的復雜問題;
5、熟悉大數據處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業務中進行定制改造者優先;
7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。
大數據開發工程師崗位的主要職責2
職責：
1、參與大數據架構的規劃設計，參與業務建模及數據化運營平臺的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;
2、完成基于大數據平臺的業務項目的開發、實施和維護工作;
3、負責解決大數據平臺建設過程中的技術難點和性能調優工作;
4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;
5、負責高吞吐高可用數據實時和離線采集，高并發的大數據業務架構設計
6、負責研發技術發展方向，新技術領域的探索，引入并驗證數據平臺領域新技術，提供系統效能
7、對大數據技術及開源框架充滿熱情，具有鉆研精神，能自我學習。
任職資格：
1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。
2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分布式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平臺經驗者優先;
3、熟悉大數據組件的開發、搭建、維護以及性能優化;
4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關系數據庫和NOSQL數據庫、Linux等相關知識，能夠獨立完成并指導初級開發人員完成大數據相關的技術實現和調優;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發經驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發，必須熟悉復雜數據查詢性能調優，包括實時查詢和離線批處理查詢，服務器和生態組件的參數優化。
8、精通高級算法并有與業務結合落地優先;
9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善于從復雜的數據問題中找到關鍵路徑，并且擅于跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;
10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。
大數據開發工程師崗位的主要職責3
職責：
1、參與大規模數據快速查詢系統的架構設計和開發;
2、大規模數據挖掘和機器學習算法的實現;
3、在線和離線海量數據分析平臺的開發;
4、研究大數據前沿技術，提升系統的運維效率;
5、實現大數據基礎架構平臺的自動化運維。
【任職要求】：
1、計算機相關專業,具有3年以上大數據開發經驗，熟悉Java,Linux;
2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先
3、熟練地處理數據模型、數據ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發者優先;
5、熟悉分布式系統概念、架構，有大規模分布式系統設計、實現、部署等經驗;
6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。
大數據開發工程師崗位的主要職責4
職責：
1、 負責大數據平臺架構的整體設計，承擔數據抽取、清洗、轉化等數據處理程序開發;
2、 為業務運營提供技術支持，完成應用系統的搭建、優化、升級工作，保證平臺穩定運行;
3、 編寫系統的需求分析、設計、開發和部署文檔等。
崗位要求：
1、碩士及以上學歷，計算機、自動化、通信等相關專業;
2、熟練掌握Java語言，并熟悉Python語言，熟悉分布式系統架構，有hadoop，spark系統架構經驗;
3、熟悉實時計算框架storm，flink，spark streaming其中之一;
4、熟練使用SQL，熟悉數據庫原理，熟練使用至少一種主流關系型數據庫;
5、熟悉軟件開發流程，能夠根據需求編寫需求、設計、開發手冊等項目過程文檔;
6、具有良好的溝通能力和主動性，抗壓能力強。
大數據開發工程師崗位的主要職責5
職責：
1. 對數據進行結構化、標準化處理，對處理流程進行自動化搭建
2. 通過ETL/Cube數據建模，構建基于數據倉庫的分析工具;
3. 參與數據與公司軟件產品及第三軟件的API對接;
4. 搭建與優化，數據采集、處理、可視化流程中所需的框架與模塊開發;
5. 協同內外部力量完成需求的表達與技術攻關。
任職要求：
1. 熟悉數據庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量數據經驗的優先;
3. 熟練使用ETL工具進行數據抽取，清洗，轉換，關聯等操作;
4. 熟練使用Linux操作系統,具備編寫shell的能力;
5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;了解過源碼的優先;
6. 具有2年以上數據倉庫(DW)、商務智能(BI)、大數據等方面的軟件或項目開發經驗;
7. 了解可視化及BI工具者優先;
大數據開發工程師崗位的主要職責6
職責：
1、負責該領域的業務需求討論，完成技術方案及數據開發;
2、負責數據倉庫的體系建設及落地實現;
3、負責大數據平臺各類環境的部署及運維、并參與架構優化、性能優化等工作;
4、負責該領域所屬模塊的代碼開發、調試與維護工作，并進行技術沉淀和文檔輸出。
招聘要求：
1、計算機、電子通信、自動化等專業，本科及以上學歷;
2、五年以上研發經驗，其中二年以上大數據開發的相關工作經驗;
3、熟練JAVA開發語言;熟悉微服務及Spring框架;
4、熟練熟練Hive、Impala、ES性能調優，關注細節，學習能力強;
5、能配合團隊完成該領域的工作，自我管理能力強，能承受工作中的各種壓力，具備很好的團隊意識
6、熟練主流大數據平臺產品部署及運維，如CDH、HDP平臺。
7、對機器學習和深度學習等方面有一定的了解;
8、有汽車制造業及相關行業的大數據開發經驗優先。
大數據開發工程師崗位的主要職責7
職責：
1、負責數據中心和大數據處理平臺的搭建
2、在線和離線海量數據分析平臺的開發;
3、研究大數據前沿技術，提升系統的運維效率;
4、參與大數據的采集、存儲、處理，分析等開發
5、參與數據挖掘算法的設計、對海量數據進行挖掘分析和發掘數據價值及算法學習及實現
【任職要求】：
1、計算機或相關專業本科學歷及以上，2年工作經驗以上
2、熟悉Java/Scala等至少一門語言，能對分布式常用技術進行合理應用，解決實際架構問題
3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數據開發組件
4、熟悉整個大數據的完整處理流程，包括數據的采集、清洗、存儲、分析和可視化及報表開發;
5、熟悉分布式系統概念、架構，有大規模分布式系統設計、實現、部署等經驗;
6. 具有優秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。
7. 有BI開發經驗的優化考慮。
大數據開發工程師崗位的主要職責8
職責：
1.結合項目或產品涉及的具體業務場景，對數據進行清洗、計算與加工;
2.思路清晰，可快速響應數據處理的需求，評估并給出合理的解決方案，并采用合理的方式處理需求;
3.積極主動，能夠與團隊成員進行有效溝通，并完成數據處理結果的核對與對接;
4.完成上級交辦的工作或任務。
崗位要求
1.計算機相關專業大專以上學歷;
2.2年以上大數據產品或項目開發經驗，精通Hadoop生態圈，熟練使用Spark，HBase、Hive、Kafka、Redis等;
3.精通SQL，熟練使用HSQL實現復雜數據處理邏輯，并具備數據處理調優的能力;
4.熟悉Linux開發環境，熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴謹的程序開發思想，具備獨立問題排查與處理的能力;
6.良好的團隊精神和合作意識，強烈的責任心，對工作有激情，良好的溝通能力，能吃苦耐勞;
7.有大數據項目或產品背景者優先;
8.有使用Spark SQL進行數據處理，并具有Spark SQL優化經驗者優先。
9.有Python或者Shell腳本開發經驗優先
大數據開發工程師崗位的主要職責概述相關文章：