- 目錄
-
第1篇 中級大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、參與公司商業(yè)智能平臺的研發(fā)工作;
2、參與公司商業(yè)智能平臺的升級改造工作,包括運維工作。
任職要求:
1、正規(guī)院校本科及以上學歷,軟件、計算機、通信、信息安全、網絡工程等相關專業(yè);
2、良好的java開發(fā)背景,熟悉spring/mybatis技術體系;
3、良好的sql功底,熟悉mysql或oracle數據庫;
4、熟悉linu_;
5、了解開源pentaho產品,包括prd、mondrian、saiku、kettle等;
6、熟悉hadoop、hive、hbase、storm、spark等大數據平臺;
7、溝通能力強,有較強的學習能力,有較強的責任心與良好的團隊協(xié)作能力。
第2篇 健康科技中心-高級大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職位描述:
1. 基于hadoop生態(tài)系統(tǒng)進行大數據平臺建設;
2. 負責各業(yè)務條線相關指標數據的數據建模
3. 負責基于sqoop,hive、spark、sparksql、mysql進行大數據開發(fā)
4. 負責離線運算、實時計算平臺項目的設計、開發(fā)及運維
5. 負責對數據平臺進行性能調優(yōu)
任職要求:
1.統(tǒng)招本科或以上學歷,6年以上大數據開發(fā)工作經驗;
2.熟練掌握shell、python開發(fā)語言;
3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相關的調優(yōu)、運維、開發(fā)經驗;
4.熟練掌握mysql數據庫集群;
5. 精通主流etl開發(fā)工具,如:informatica、data services、kettle;精通主流調度工具,如:azkaban, oozie;
6.有數據倉庫、分析系統(tǒng)、用戶畫像等產品開發(fā)經驗者優(yōu)先;
7.有較強的數據和業(yè)務結合能力;
8.有醫(yī)療或者大健康背景優(yōu)先;
9.有較強的獨立、主動的學習能力,良好的溝通表達能力。
第3篇 大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、根據業(yè)務需求進行數據模型的調研、設計、開發(fā)及驗證工作,并持續(xù)進行模型的優(yōu)化;
2、負責數據模型架構的構建,建立數據抽取、清洗、校驗等數據加工流程規(guī)范及olap多維數據分析模型;
3、持續(xù)對系統(tǒng)的技術架構進行改進和優(yōu)化,提升海量數據的查詢性能和用戶體驗。
任職資格:
1、統(tǒng)招本科或以上學歷,計算機、數據挖掘等相關專業(yè),工作至少3年以上;
2、熟悉java開發(fā),有腳本語言(shell,python)開發(fā)經驗者優(yōu)先;
3、至少熟悉一種大數據處理技術,如hadoop、spark;
4、掌握hbase、redis、elastic search等開源大數據存儲技術,并能結合不同的業(yè)務場景深入使用;
5、精通sql,精通mysql、oracle、sql server等一種大型數據庫,以及數據庫的維護和優(yōu)化。
6、熟悉常用java web開發(fā)框架,如:spring、mybatis等;
7、熟悉多線程編程,并對java自帶線程池有一定研究;
8、對解決具有挑戰(zhàn)性的問題充滿激情,具有良好的分析問題和解決問題的能力。
第4篇 大數據開發(fā)工程師/架構師職位描述與崗位職責任職要求
職位描述:
1、8年以上后端開發(fā)經驗,有大數據處理經驗;有實時處理工作經歷并有一定解決方案者優(yōu)先;
2、熟悉大數據開源技術,包含(不限于)hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/計算/存儲/檢索等相關技術,并有一定的hadoop生態(tài)系統(tǒng)運維經驗;
3、至少掌握java/scala/python其中一門開發(fā)語言;
4、掌握sql,sparksql進行數據開發(fā);較好的sql性能調優(yōu)經驗;
5、優(yōu)秀的分析、解決問題能力,充分的數據敏感度;有一定的高性能支撐經驗和故障排除能力;
6、具備強烈的工作責任感,喜歡鉆研,態(tài)度樂觀,團隊意識強。
第5篇 大數據開發(fā)總監(jiān)崗位職責大數據開發(fā)總監(jiān)職責任職要求
大數據開發(fā)總監(jiān)崗位職責
大數據開發(fā)總監(jiān) 主要職責
1. 帶領大數據團隊,包括數據建設、數據質量治理、數據應用和數據產品;
2. 設計并優(yōu)化公司大數據架構,包括數據建設流、數倉模型、數據集市架構;
3. 構建數據質量保障體系,包括全流程監(jiān)控、預警和數據快速恢復、數據質量評估
4. 完善數據應用體系,包括數據產品構建、數據分析需求響應、數據集市
5. 數據工程架構迭代,包括實時流、權限管理、調度、應用輸出等 主要職責
1. 帶領大數據團隊,包括數據建設、數據質量治理、數據應用和數據產品;
2. 設計并優(yōu)化公司大數據架構,包括數據建設流、數倉模型、數據集市架構;
3. 構建數據質量保障體系,包括全流程監(jiān)控、預警和數據快速恢復、數據質量評估
4. 完善數據應用體系,包括數據產品構建、數據分析需求響應、數據集市
5. 數據工程架構迭代,包括實時流、權限管理、調度、應用輸出等
第6篇 大數據開發(fā)工程師 [數倉方向]職位描述與崗位職責任職要求
職位描述:
工作職責:
1、使用etl工具(如sqoop、kettle)進行數據加工、清洗等流程;
2、根據業(yè)務需求,進行數倉日常數據分析、數據報表開發(fā);
3、使用hive進行數據處理,及數據模型構建;
4、具備良好的分析問題和解決問題的能力;
5、具備較強的溝通能力和邏輯表達能力,具備良好的團隊合作精神和主動溝通意識;
任職要求:
1、計算機相關專業(yè)本科及以上學歷;
2、熟練使用sql(mysql / oracle);
3、熟練數據庫/數據倉庫分層設計、寬表設計、星型模型設計等;
4、熟練etl工具、sqoop、kettle、spark等;
5、熟悉hadoop、hive、hdfs等常用大數據組件;
6、有互聯網業(yè)務分布式數據倉庫、cube、大數據數據分析等相關經驗者加分;
第7篇 大數據開發(fā)(實時計算)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、參與計算框架和服務的定制和改進,為公司批處理和流式計算能力提供支撐
2、基于業(yè)務需求和應用場景,設計和實現公司大數據相關產品
3、負責設計,開發(fā),優(yōu)化數據接入、數據存儲、數據計算服務框架
4、為公司所有業(yè)務線提供數據支持和服務
5、主要是為實時數倉計算提供數據支持和服務
任職要求:
1、本科以上學歷,3年以上大數據開發(fā)經驗,掌握數據倉庫理論、模型設計方法等
2、對大數據實時數倉建設有成熟的解決方案和實踐經驗
3、熟悉spark,flink、storm等大型分布式平臺組件
4、精通sql ,sparksql優(yōu)先,熟悉java,scala、python編程
5、有較強的性能優(yōu)化及問題排查、解決能力
6、具備良好的溝通能力,做事認真、仔細,有責任心,具有團隊協(xié)作能力
7、對kafka消息隊列中間件有過深度使用經驗、對于druid、kudu、presto有過項目經驗
8、對于數據采集、數據訂閱有成熟的解決方案或是項目經驗
第8篇 大數據開發(fā)工程師/專家(p6-p8)3職位描述與崗位職責任職要求
職位描述:
職責描述:
1.負責時空位置大數據對外接口后臺和服務框架的開發(fā)和運營;
2.負責時空位置大數據數據中、后臺的建設以及數據和服務安全方面的建設;
任職要求:
1.重點大學本科以上學歷,計算機及相關專業(yè);
2.3年以上相關工作經驗,精通算法與數據結構,精通c/c++編程語言;
3.精通linu_、uni_編程環(huán)境,熟悉數據庫;
4.精通網絡編程,有分布式系統(tǒng)開發(fā)經驗,有大平臺開發(fā)經驗優(yōu)先;
5.熟悉gis和時空大數據處理和管理,有相關工作經驗者優(yōu)先,
6.具備優(yōu)秀的獨立解決問題能力, 善于團隊合作,溝通良好,有一定的抗壓能力;
第9篇 大數據開發(fā)工程師-偏數據模型方向-l80542職位描述與崗位職責任職要求
職位描述:
職責描述:
1、參與數據需求的溝通和模型設計;
2、負責大數據平臺的數據需求開發(fā),包括實時和批量處理;
3、負責不同數據源的接入解析落地的設計開發(fā)工作;
4、負責數據質量監(jiān)控,解決數據運行和質量問題。
任職要求:
1、計算機本科以上學歷,至少有3年數據開發(fā)經驗;
2、精通java/scala/python,至少有3年以上開發(fā)使用經驗;
3、熟悉spark,hive,flink,jstorm等大數據實時計算技術;
4、掌握hive sql,sparksql,es query dsl 等查詢語言;擁有sql性能調優(yōu)經驗;
5、具有較強的業(yè)務理解能力,較強的責任心、團隊合作能力和溝通能力;
6、有過圖數據庫開發(fā)或spark mllib開發(fā)經驗者優(yōu)先考慮。
第10篇 大數據開發(fā)工程師(數據分析、信息安全、前端開發(fā)、數據對接)職位描述與崗位職責任職要求
職位描述:
數據分析工程師:
崗位職責:
1、負責結構化數據和文本的數據處理、建模、分析等工作,如:數據清洗、中文分詞、情感分析、文本分類等;
2、負責數據需求的收集、整理和分析,配合其他同事完成結構化數據和文本的需求分析;
3、負責分析結果的可視化展現;
4、負責核心算法的設計與優(yōu)化。
任職要求:
1、全日制本科畢業(yè);
2、計算機或數學或軟件類或統(tǒng)計相關專業(yè);
3、熟悉數據挖掘和文本挖掘的理論基礎,掌握統(tǒng)計模型、機器學習相關原理;
4、熟悉r/python/java等編程語言,熟悉常用數據結構和算法,熟悉正則表達式的使用。
web前端開發(fā)工程師:
崗位職責:
1、負責前端框架設計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌;
2、與后端工程師緊密配合,高效率、高質量地完成頁面展現研發(fā)工作;
3、負責對產品頁面性能的優(yōu)化和維護;
4、負責數據可視化圖表顯示。
任職要求:
1、本科及以上學歷,專業(yè)不限。3年以上前端開發(fā)經驗;
2、精通html5/css3、_html/_ml,熟悉頁面架構和布局,對表現與數據分離、web語義化等有深刻理解;
3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經驗;
4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack;
5、有echars、highcahrts、d3js等數據可視化框架開發(fā)經驗優(yōu)先。
信息安全架構工程師:
崗位職責:
1、 規(guī)劃車聯網安全架構,不斷完善車聯網產品的安全規(guī)范和要求,跟進、解決存在的安全隱患;
2、 對上線前的軟件或者車上產品進行安全方面驗證及測試;
3、 跟進最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報告和防范措施;
4、 負責行業(yè)/國家車聯網汽車網絡安全部分的技術及標準規(guī)范的研究工作。
任職要求:
1、本科以上學歷,信息安全,計算機,通信等相關專業(yè);
2、 擁有網絡安全專業(yè)技能,熟悉車載網絡架構,模塊及協(xié)議;
3、 熟悉常見網絡/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力;
4、 熟悉常見黑客攻擊手法,具備對黑客行為的入侵檢測能力;
5、 精通安全測試框架,理解網絡,應用,數據等不同層面的安全。
數據對接工程師:
崗位職責:
1、負責內部系統(tǒng)的對接工作;
2、第三方平臺的數據對接及程序維護;
3、負責各車型的數據采集要求整理及規(guī)劃;
4、熟悉數據結構和常用算法,有良好的代碼規(guī)范,能對接入數據/系統(tǒng)提出優(yōu)化方案。
任職要求:
1、 本科以上學歷,信息化項目,計算機,無線傳輸等相關專業(yè);
2、擁有信息化相關技能,熟悉系統(tǒng)間的交互對接流程;
3、熟悉數據庫的管理及查詢、同步工作;
4、熟悉信息對接的方式,能用api、視圖等進行對接工作。
第11篇 大數據開發(fā)工程師(p7-p8)3職位描述與崗位職責任職要求
職位描述:
崗位職責:
分布式大數據系統(tǒng)開發(fā)、計算性能調優(yōu)、 高性能服務框架設計與開發(fā);
參與項目的架構設計、評審、技術攻堅及優(yōu)化;
參與系統(tǒng)文檔的撰寫、維護。
任職要求:
本科以上學歷,計算機或相關專業(yè);
3年以上linu_后臺開發(fā)經驗,有大規(guī)模系統(tǒng)開發(fā)經驗;
精通http、tcp/ip協(xié)議,網絡編程;
熟悉linu_操作系統(tǒng)原理,常用工具;
熟悉常用大數據開源組件;
有高并發(fā)、大容量后臺服務系統(tǒng)設計經驗;
具有良好的學習能力、溝通能力、團隊合作意識;
強烈的責任心與主動性,對所負責工作有owner意識,并能自我驅動成長;
對hadoop、flink、spark、lucene等開源項目有大規(guī)模應用經驗,contributor或者committer優(yōu)先。
第12篇 大數據開發(fā)leader職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、負責整體大數據平臺體系的建設工作。
2、負責帶領團隊完成基于大數據平臺的業(yè)務項目的開發(fā)、實施和維護工作。
3、負責解決大數據平臺建設過程中的技術難點和性能調優(yōu)工作。
4、負責指導和培訓團隊成員,共同提升大數據技能。
任職要求:
1、計算機相關專業(yè),至少5年以上大數據開發(fā)經驗;
2、熟悉大數據、數據倉庫,分布式架構技術理論,具有大數據整體系統(tǒng)架構設計和實戰(zhàn)經驗,,有從無到有建設大數據平臺經驗者優(yōu)先;
3、熟悉大數據生態(tài)圈技術,不限于hadoop、hdfs、hive、hbase、spark、storm、flume、sqoop、kylin等,閱讀過底層源碼者優(yōu)先;
4、熟悉至少一種編程語言,python,java,scala等,精通sql;
5、2年以上技術團隊管理經驗,有阿里,百度,騰訊,滴滴,美團等互聯網大數據工作經驗者優(yōu)先;
6、邏輯思維清晰,具備高度的責任感和良好的溝通協(xié)調能力,遇事積極主動。
第13篇 大數據開發(fā)(高級/資深)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、基于海量數據,支持業(yè)務對數據的分析和使用:
2、支持業(yè)務處理數據的流式處理、構建數據倉庫、分析用戶行為等。
任職要求:
1、有扎實的編程能力,有優(yōu)秀的設計和代碼品位,對解決具有挑戰(zhàn)性問題充滿激情;
2、對大數據處理有豐富的經驗和廣闊的視野;
3、熟悉常用的開源組件:hadoop/hive/spark/storm,并了解其特性和使用場景;
4、優(yōu)秀的溝通理解能力,能快速理解業(yè)務,用數據解讀業(yè)務;
5、推薦或機器學習相關的開發(fā)工作優(yōu)先。
第14篇 大數據開發(fā)工程師(渠道團隊)職位描述與崗位職責任職要求
職位描述:
職責描述:
1.參與產品和項目研發(fā)工作,基于spark完成產品大數據架構和功能開發(fā);
2.搭建和調優(yōu)大數據基礎平臺,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數據組件的環(huán)境搭建;
3.維護線上系統(tǒng)的穩(wěn)定性、可靠性,通過分析現象快速定位問題,進而提出優(yōu)化方案,改進要求;
任職要求:
1.計算機相關專業(yè)本科及以上學歷,5年以上大數據工作經驗,有扎實的計算機理論基礎;
2.熟練使用mapreduce、spark提供的api編程,具備海量數據加工處理(etl)相關經驗;
3.熟練使用大數據的工具平臺,熟悉hadoop生態(tài)環(huán)境,對hadoop、spark、storm、hbase、hive等至少一個項目有著深入了解;
4.掌握數據分析的基本流程,具備數據采集、清洗、分析等環(huán)節(jié)的實戰(zhàn)經驗;可以進行數據產品etl需求的調研及開發(fā);
5.熟悉etl任務調度及管理;
6.熟悉shell命令,進行簡單的shell編程;熟悉linu_文本處理命令,vi、awk、sed等命令
7.熟練使用hadoop或其他分布式平臺的一種,能使用java、python或其他語言編寫mapreduce進行大數據處理優(yōu)先;
8.有大型金融項目經驗者優(yōu)先。'
第15篇 大數據開發(fā)經理職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、參與大數據平臺、工具平臺的架構、設計以及實現;
2、參與對項目的開發(fā)需求進行評審,制定項目的設計文檔、開發(fā)計劃文檔等;
3、負責公司各類數據產品數據抽取、清洗,以及數據算法與存儲的設計和優(yōu)化;
4、優(yōu)化大數據平臺的性能,提高穩(wěn)定性;
5、負責大數據平臺的組件升級與參數優(yōu)化。
崗位要求:
1、本科及以上學歷,3年以上相關技術背景,具備扎實的數據結構和算法基礎,扎實的工程實現能力;
2、熟悉hadoop大數據相關技術體系,包括但不限于hbase、hdfs、storm、kafka、spark、hive、flume等;
3、精通java或python,能熟練編寫規(guī)范代碼,有較強的數據庫及sql開發(fā)調優(yōu)能力;
4、熟悉自然語言處理/機器學習/數據挖掘領域,熟悉常用的機器學習算法優(yōu)先考慮;
5、有大規(guī)模數據收集,日志處理經驗,有電商數據分析背景優(yōu)先考慮;
6、深入研究過大數據框架的運行機制、實現原理、源碼者優(yōu)先考慮。