大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選
大數(shù)據(jù)開發(fā)工程師需要處理公司大數(shù)據(jù)平臺(tái)產(chǎn)品的技術(shù)工作，包括存儲(chǔ)、處理、分析、挖掘、架構(gòu)設(shè)計(jì)、研發(fā)工作。下面是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選。
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選1
職責(zé)：
1、負(fù)責(zé)該領(lǐng)域的業(yè)務(wù)需求討論，完成技術(shù)方案及數(shù)據(jù)開發(fā);
2、負(fù)責(zé)數(shù)據(jù)倉庫的體系建設(shè)及落地實(shí)現(xiàn);
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)各類環(huán)境的部署及運(yùn)維、并參與架構(gòu)優(yōu)化、性能優(yōu)化等工作;
4、負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。
招聘要求：
1、計(jì)算機(jī)、電子通信、自動(dòng)化等專業(yè)，本科及以上學(xué)歷;
2、五年以上研發(fā)經(jīng)驗(yàn)，其中二年以上大數(shù)據(jù)開發(fā)的相關(guān)工作經(jīng)驗(yàn);
3、熟練JAVA開發(fā)語言;熟悉微服務(wù)及Spring框架;
4、熟練熟練Hive、Impala、ES性能調(diào)優(yōu)，關(guān)注細(xì)節(jié)，學(xué)習(xí)能力強(qiáng);
5、能配合團(tuán)隊(duì)完成該領(lǐng)域的工作，自我管理能力強(qiáng)，能承受工作中的各種壓力，具備很好的團(tuán)隊(duì)意識(shí)
6、熟練主流大數(shù)據(jù)平臺(tái)產(chǎn)品部署及運(yùn)維，如CDH、HDP平臺(tái)。
7、對(duì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方面有一定的了解;
8、有汽車制造業(yè)及相關(guān)行業(yè)的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)優(yōu)先。
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選2
職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)中心和大數(shù)據(jù)處理平臺(tái)的搭建
2、在線和離線海量數(shù)據(jù)分析平臺(tái)的開發(fā);
3、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運(yùn)維效率;
4、參與大數(shù)據(jù)的采集、存儲(chǔ)、處理，分析等開發(fā)
5、參與數(shù)據(jù)挖掘算法的設(shè)計(jì)、對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析和發(fā)掘數(shù)據(jù)價(jià)值及算法學(xué)習(xí)及實(shí)現(xiàn)
【任職要求】：
1、計(jì)算機(jī)或相關(guān)專業(yè)本科學(xué)歷及以上，2年工作經(jīng)驗(yàn)以上
2、熟悉Java/Scala等至少一門語言，能對(duì)分布式常用技術(shù)進(jìn)行合理應(yīng)用，解決實(shí)際架構(gòu)問題
3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數(shù)據(jù)開發(fā)組件
4、熟悉整個(gè)大數(shù)據(jù)的完整處理流程，包括數(shù)據(jù)的采集、清洗、存儲(chǔ)、分析和可視化及報(bào)表開發(fā);
5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);
6. 具有優(yōu)秀的學(xué)習(xí)能力、獨(dú)立分析和解決問題能力，良好的團(tuán)隊(duì)合作精神。
7. 有BI開發(fā)經(jīng)驗(yàn)的優(yōu)化考慮。
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選3
職責(zé)：
1.結(jié)合項(xiàng)目或產(chǎn)品涉及的具體業(yè)務(wù)場景，對(duì)數(shù)據(jù)進(jìn)行清洗、計(jì)算與加工;
2.思路清晰，可快速響應(yīng)數(shù)據(jù)處理的需求，評(píng)估并給出合理的解決方案，并采用合理的方式處理需求;
3.積極主動(dòng)，能夠與團(tuán)隊(duì)成員進(jìn)行有效溝通，并完成數(shù)據(jù)處理結(jié)果的核對(duì)與對(duì)接;
4.完成上級(jí)交辦的工作或任務(wù)。
崗位要求
1.計(jì)算機(jī)相關(guān)專業(yè)大專以上學(xué)歷;
2.2年以上大數(shù)據(jù)產(chǎn)品或項(xiàng)目開發(fā)經(jīng)驗(yàn)，精通Hadoop生態(tài)圈，熟練使用Spark，HBase、Hive、Kafka、Redis等;
3.精通SQL，熟練使用HSQL實(shí)現(xiàn)復(fù)雜數(shù)據(jù)處理邏輯，并具備數(shù)據(jù)處理調(diào)優(yōu)的能力;
4.熟悉Linux開發(fā)環(huán)境，熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴(yán)謹(jǐn)?shù)某绦蜷_發(fā)思想，具備獨(dú)立問題排查與處理的能力;
6.良好的團(tuán)隊(duì)精神和合作意識(shí)，強(qiáng)烈的責(zé)任心，對(duì)工作有激情，良好的溝通能力，能吃苦耐勞;
7.有大數(shù)據(jù)項(xiàng)目或產(chǎn)品背景者優(yōu)先;
8.有使用Spark SQL進(jìn)行數(shù)據(jù)處理，并具有Spark SQL優(yōu)化經(jīng)驗(yàn)者優(yōu)先。
9.有Python或者Shell腳本開發(fā)經(jīng)驗(yàn)優(yōu)先
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選4
職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、數(shù)據(jù)計(jì)算等基礎(chǔ)平臺(tái)的設(shè)計(jì)和開發(fā)工作;
2、利用Hadoop、Spark、Flink等技術(shù)進(jìn)行離線和實(shí)時(shí)數(shù)據(jù)開發(fā) ;
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的規(guī)劃升級(jí)、平臺(tái)維護(hù)和優(yōu)化 ;
4、和其他部門或團(tuán)隊(duì)溝通、資源協(xié)調(diào)并落實(shí)工作。
任職要求
1、本科及以上學(xué)歷;
2、3年以上大型大數(shù)據(jù)平臺(tái)建設(shè)實(shí)施經(jīng)驗(yàn) ;
3、掌握常用大數(shù)據(jù)組件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和調(diào)優(yōu) ;
4、具備較強(qiáng)技術(shù)功底，精通Java、Scala、Python等至少一種開發(fā)語言，能根據(jù)需求給出技術(shù)架構(gòu) ;
5、有數(shù)據(jù)倉庫、元數(shù)據(jù)管理和治理的開發(fā)經(jīng)驗(yàn)優(yōu)先 ;
6、善于溝通，思維活躍、責(zé)任感強(qiáng)、工作積極主動(dòng)，有良好的團(tuán)隊(duì)協(xié)作意識(shí)。
大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選5
職責(zé)：
1、負(fù)責(zé)完成業(yè)務(wù)和產(chǎn)品的對(duì)接，支持業(yè)務(wù)需求研發(fā);
2、負(fù)責(zé)完成產(chǎn)品的迭代升級(jí)以及底層架構(gòu)的升級(jí)研發(fā);
3、完成團(tuán)隊(duì)安排的其他相關(guān)日常工作任職要求;
4、負(fù)責(zé)產(chǎn)品的實(shí)時(shí)業(yè)務(wù)和離線業(yè)務(wù)的研發(fā);
5、支持開源大數(shù)據(jù)技術(shù)在數(shù)據(jù)系統(tǒng)中的使用，修復(fù)、優(yōu)化增強(qiáng)大數(shù)據(jù)技術(shù);
崗位要求：
1、具有分布式系統(tǒng)架構(gòu)開發(fā)能力，熟練使用storm、spark hbase者優(yōu)先。
2、能夠使用實(shí)時(shí)計(jì)算平臺(tái)，進(jìn)行實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)的研發(fā)。
3、能夠基于已有平臺(tái)進(jìn)行離線業(yè)務(wù)的開發(fā)。
4、有大數(shù)據(jù)應(yīng)用產(chǎn)品研發(fā)經(jīng)驗(yàn)，具有數(shù)據(jù)決策產(chǎn)品研發(fā)經(jīng)驗(yàn)者優(yōu)先。
相關(guān)文章：
1.大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)
2.大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述