大資料開發工程師的具體職責（精選20篇）

大資料開發工程師的具體職責 篇1

職責:

1、 負責公司大資料平臺數據處理工具ETL、流處理平臺等建設，功能規劃，平臺演進，維護調優等;

2、 結合公司業務特徵，負責公司資料倉庫規劃、資料倉庫建設、數倉管理等;

3、 負責大資料處理技術研究及新技術引進，參與超大規模實時/離線資料計算框架，儲存、查詢、視覺化解決方案的設計，研發;

4、 負責公司業務資料倉庫模型建設及全業務資料域打通;

5、 負責BI報表和視覺化專案，和客戶深度溝通，理解客戶的業務挑戰，提供解決方案，制定開發計劃並執行，支援各單位日常資料需求和任務;

任職資格:

1、 熟練掌握關係型資料庫,例如：Oracle、Mysql、Vertica等;熟悉NoSql資料庫，例如HBase、Redis、MongodDB等;具備豐富的資料庫管理和運維調優經驗;

2、 熟悉資料倉庫領域知識和技能者優先，包括但不侷限於：元資料管理、資料開發測試工具與方法、資料質量、主資料管理，資料打通等;

3、 有從事分散式資料儲存與計算平臺應用開發經驗，熟悉Hadoop生態相關技術並有相關實踐經驗著優先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通資料預處理、檢驗、清洗、分析方法，精通各種常用統計檢驗方法;熟練掌握一門或多門程式語言，並有大型專案建設經驗者優先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常運維、搭建常見伺服器、定位解決日常問題的能力，具備ETL開發經驗優先;

6、 良好的語言溝通與表達能力，有豐富的資料開發經驗，較強的資料、平臺、技術理解能力;

7、 具備數學類、計算機類等相關專業統招本科及以上學歷，具有3年及以上大資料開發工作經驗，有網際網路行業背景優先。

大資料開發工程師的具體職責 篇2

職責：

1、本崗位培養方向為證券基金行業資料架構師;

2、輔助大資料架構師制定專案開發流程、規範，輔助資料模型設計人員進行模型設計;

3、輔助技術架構師進行大資料平臺調優(業務邏輯角度);

4、負責大資料平臺開發，包括資料抽取、轉換和載入;

5、負責控制資料需求、管理專案開發進度，配合QA完成專案質量管理;

職位要求：

1、2年以上證券或者基金行業資料中心、大資料平臺建設經驗;

2、具備較強的學習能力，對資料模型和大資料技術有濃厚的興趣;

3、熟練掌握基於ORACLE或MPP資料庫或Hadoop等開發技術;

4、至少掌握一種ETL開發工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的團隊合作精神、公司提供優厚待遇。

大資料開發工程師的具體職責 篇3

職責：

1、大資料的分散式採集與環境搭建和測試;

2、大資料儲存、處理和分析工作;

3、大資料相關產品線的改進和相關核心開發工作;

4、其他大資料相關工作。

任職要求：

1、本科及以上學歷，計算機相關專業;

2、2年以上Java開發及大資料相關開發經驗，java基礎紮實，熟練掌握多執行緒、集合、快取、序列化、nio等技術;

3、熟悉Linux環境，熟悉Linux shell/python/perl任一指令碼;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大資料處理架構，並有1年以上Hadoop相關的實際開發、架構及調優經驗;

5、使用過阿里雲;

6、熟悉架構;

7、具有較好的學習能力、溝通表達能力及團隊合作能力。

大資料開發工程師的具體職責 篇4

職責

1. 負責大資料分析需求設計和開發工作，包括資料儲存、預處理、查詢、統計、實時分析、資料優化及配置等功能;

2. 對大資料分析系統存在的問題進行跟蹤和定位並及時解決;

3. 負責上級交辦的其他相關工作。

崗位要求：

1. 本科以上學歷，2年以上工作經驗;

2. Java基礎紮實，熟練使用Java IDE 進行程式碼編寫和除錯，熟悉JUnit單元測試框架;

3. 熟悉Linux作業系統，能在Linux上完成開發、除錯工作;

4. 熟悉網路IO、多執行緒併發程式設計、集合等基礎框架，精通資料結構和資料演算法;

5. 參與過分散式高效能服務的設計開發過程，有大規模分散式系統的實踐經驗;

6. 熟悉資料庫操作和使用的基本技能，熟練一種關係型資料庫的使用;

7. 能獨立編寫詳細設計文件;

8. 有大資料分析工具Hadoop、spark使用開發經驗優先;

9. 具有團隊精神與敬業精神，學習鑽研能力強，具有良好的協調溝通能力。

大資料開發工程師的具體職責 篇5

職責：

1、在hadoop平臺進行hive/hbase/spark開發;

2、處理公司大資料平臺產品的技術工作，包括儲存、處理、分析、挖掘、架構設計、研發工作;

3、熟悉設計、構建和優化基於hadoop/Hbase的儲存平臺架構;

4、熟悉整體提升hadoop/Hbase/Storm/Spark叢集的高可用性、高效能、高擴充套件特性;

5、部門相關工作。

崗位要求：

1、計算機等相關專業大專及以上學歷;

2、3年以上軟體開發經驗，精通Java開發，至少2年以上Hadoop相關開發經驗;

3、熟悉分散式系統、分散式計算系統的工作機制，具有大規模資料平臺，高併發大型系統，大資料等架構設計和開發經驗;

4、熟悉sqoop、Hive、hbase、spark等大資料生態元件;

5、精通linux shell和sql指令碼;

6、有java web開發經驗者優先;

7、良好的團隊精神和溝通能力，很強的邏輯思維能力和學習能力。

大資料開發工程師的具體職責 篇6

職責：

1. 參與軟體產品設計、開發、實施和維護，保證設計合理、應用技術得當。

2. 進行單元測試，確保功能穩定，效能優異，保證開發工作高質量完成。

3. 參與軟體設計的重構、優化，保證產品的可迭代、可維護性。

4. 參與軟體設計文件的起草和完善，保證文件及時更新。

任職要求：

1. 本科及以上學歷。

2. 有3年以上Java Web開發工作經驗;有高訪問量，高負載網站系統開發經驗者優先。

3. 熟悉Spring、Spring Boot、SpirngMVC，Mybatis/iBatis、Maven及前端Html5/CSS/Javascript等。

4、JAVA基礎紮實，理解IO、執行緒、集合等基礎框架，對JVM原理有一定的瞭解。

5、熟悉分散式、多執行緒及高效能的設計與編碼及效能調優。

6、熟悉Linux下的常用命令。

7、熟悉Mysql/Oracle等資料庫的開發和資料庫的維護。

8、有電力行業或軌道交通行業應用開發經驗者優先。

大資料開發工程師的具體職責 篇7

職責：

1.參與大資料平臺搭建以及專案技術架構。

2.資料分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大資料相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，程式設計基礎紮實，有2年以上大資料開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL效能調優經驗

5、有資料倉庫ETL經驗者優先

6、有使用者行為日誌採集、海量資料處理、資料建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟體，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大資料開發工程師的具體職責 篇8

1.負責公司移動端Android的軟體系統架構分析、設計及實現;

2.分析業務需求，參與系統設計與開發;

3.參與公司前端技術架構和關鍵技術的攻關;

4.參與專案設計與編碼實現,跟蹤並研究Android新技術的發展，並將成果實際應用到產品中;

5.對開發程式碼進行除錯及測試，修復測試發現程式碼缺陷，確保質量;

6.參與團隊未來技術方向研究與制定。

大資料開發工程師的具體職責 篇9

1、按時間節點完成專案經理交辦的專案開發任務;

2、配合同事完成專案進度中的節點任務;

3、完成專案經理交辦的其它各項任務。

大資料開發工程師的具體職責 篇10

職責：

負責所屬模組詳細設計文件撰寫、編碼、單元測試等工作;

嚴格遵守團隊的程式碼格式、結構的規定，編寫易讀、易維護、高質量、高效率的程式碼;

負責業務架構設計和實現;

負責公司官網的程式維護及伺服器維護;

帶來技術團隊做好開發任務;

職位要求

5年以上服務端開發經驗;

精通PHP(THINKPHP)有大型專案架構能力;

精通php開發語言，瞭解php的效能最優化和安全最大化;

精通 資料庫開發，熟悉讀寫分離，資料縱向橫向劃分，查詢效率;

熟悉LINUX服務端分散式架構，APACHE,REDIS,MYSQL等(阿里雲產品);

有專案領導能力，分配任務，專案安全，上線部署;

大資料開發工程師的具體職責 篇11

職責：

1、參與專案需求分析及功能模組的設計工作;

2、根據工作進度和任務分配，開發相應的軟體模組;

3、負責產品的日常維護工作，跟蹤解決使用者的問題和故障;

4、根據專案需要，學習新的開發語言，如Delphi;

5、完成領導安排的其它專案工作。

崗位要求：

1、統招二本以上，計算機相關專業;

2、英語四級，能閱讀英文資料;

3、有較強的自學能力和學習動力，願意學習心的變成語言;

4、積極主動，責任心強;

大資料開發工程師的具體職責 篇12

職責：

1、服從公司的發展要求，配合公司的工作安排;

2、作為儲備工程師要認真學習和全面瞭解公司的相關情況和工作細節;

3、熟練掌握公司所應用的專業技術;

4、負責公司基本專案的開發;

5、參與公司所用技術的優化和升級;

任職要求：

1、對計算機程式語言有興趣;

2、吃苦耐勞，有一定的自我約束和控制能力，意志力堅強;

3、表達能力好，聽說能力強;

4，有志於從事網際網路以及移動網際網路行業，本科學歷，985,211學校畢業者優先考慮;

大資料開發工程師的具體職責 篇13

職責：

1、負責各類CI/CD環境的搭建與維護。

2、負責公司容器雲平臺的實施，監測，故障定位等。

3、負載雲平臺容器應用編排，提升公司產品的穩定性、安全性，協助優化產品效能。

4、開發適用於公司業務場景的相關運維工具。

相關要求

1、能熟練使用Kubernetes搭建生產和測試環境。

2、熟悉Docker/Kubernetes元件和生態，包含儲存、網路、監控、日誌、安全等。

3、熟悉常用工具如Git，Harbor，Helm，Jenkins安裝和使用。

4、熟悉Rancher/Kubespray等K8S安裝管理工具者優先

大資料開發工程師的具體職責 篇14

職責：

1、負責電商平臺Java Web系統的開發編碼工作;

2、負責重點難點技術問題的研究及解決，編寫較規範和高質量的設計文件;

3、對國中級開發人員提供技術上的指導，幫助專案組成員進行詳細設計和開發。

任職要求：

1、計算機或相關專業優先;

2、三年以上JAVA研發和軟體設計經驗;

3、熟練html5、javaScript,jquery等web前端技術;

4、參與過大中型專案的核心功能開發工作，有良好的系統規劃能力，制定系統架構，編寫技術規範和專案開發文件;

5、熟悉SpringBoot、SpringCloud、SpringMVC、MyBatis、hibernate等開源框架;

6、熟悉MySQL、Oracle或NoSQL資料庫技術，熟悉SQL調優機制，有大型資料庫軟體開發經驗者優先;

7、熟悉分散式、快取、訊息、資料分析等工作機制，具有大型分散式、高併發、高負載、高穩定性的系統設計開發經驗優;

8、表達能力好，思維清晰敏捷，工作認真負責，善於學習、具有分析、解決問題的能力，創新意識強，有團隊精神;

9、有參與過醫藥行業專案經驗優先。

大資料開發工程師的具體職責 篇15

職責：

1、按照專案計劃，配合產品經理，按時提交高質量程式碼，完成開發任務;

2、及時反饋開發中遇到的難點問題，溝通並尋求解決方案，按階段有計劃地完成開發任務;

3、負責系統詳細設計和核心程式碼編寫，參與設計評審;

4、負責部分技術攻關工作，協助架構師進行架構優化和程式碼重構工作;

5、對系統進行單元測試編寫，並稽核測試用例。

任職要求:

1、計算機相關專業，4 年以上工作經驗，具備紮實的Java語言基礎、有分散式,SaaS等架構設計和開發經驗優先考慮;

2、精通Spring、Spring MVC、Spring Security和MyBatis/Hibernate等，熟悉SpringCloud、Spring Boot和Spring Cloud 等開源框架;

3、熟練使用 GitLib、SVN、Maven 等其中至少一種程式碼管理工具;

4、熟練掌握 SQL 語言，使用過 SqlServer、Mysql、Oracle 等其中至少一種資料庫;

5、熟悉Redis、RabbitMQ、fastDFS 等技術;

6、熟悉Linux下伺服器環境部署和效能調優(包括Nginx、Tomcat等);

7、具備中大型專案的實際開發經驗, 具備微服務開發經驗者優先;

8、有強烈的責任心，優秀的表達能力及溝通能力，較強的學習和理解能力，思路清晰，善於思考，能獨立分析和解決問題。

大資料開發工程師的具體職責 篇16

l 參與數字礦區系統技術規劃、功能設計、功能實現，撰寫技術文件;

l 負責數字礦區系統軟體及模組功能開發工作;

l 負責數字產品開發;

l 完成領導交辦的其他任務。

大資料開發工程師的具體職責 篇17

1、根據客戶需求，在規定的工期與質量要求下，進行產品模組級或功能級的設計與開發;

2、與開發上下游密切協作，不斷提升產品的品質，提升使用者體驗;

3、不斷提升個人技術能力，精通HR產品技術體系。

大資料開發工程師的具體職責 篇18

職責：

1、 與UI設計師、互動設計師、產品經理協作，分析並給出較優的移動介面前端結構解決方案和效果實現;

2、 與後臺開發工程師協作，完成各種資料互動、動態資訊展現和使用者的互動;

3、 維護及優化移動端前端頁面執行效能和載入效能，優化前端程式碼規範;

4、 負責解決產品在不同移動裝置端及不同版本下的相容問題;

5、 根據產品開發需要，配合相關人員完成產品各部分設計的更新和修改;

任職要求

1、 熟悉微信小程式開發，有實際專案經驗的優先;

2、 熟悉微信H5開發，瞭解微信jssdk;

2、 熟練運用HTML5、CSS3、Javascript/Jquery/zepto構建高效能的Web應用程式;

3、 熟練使用CSS3動畫，並有一定的專案經驗;

4、 熟悉前端相關標準，對前端語義化、瀏覽器相容性問題有深入理解;

5、 良好的程式碼習慣，結構清晰。命名規範，邏輯性強;

6、 良好的人際溝通與團隊創作能力，能夠按時完成安排的任務。

大資料開發工程師的具體職責 篇19

職責：

1)根據需求報告進行需求反講、程式碼編寫。

2)完成系統中業務邏輯相對簡單的功能開發。

3)完成客戶功能、數標相關的功能優化。

4)完成開發經理安排的其他開發工作任務。

具備要求：

1)計算機、軟體類等相關專業，本科及以上畢業，1-2年工作經驗。

2)有3個以上專案經驗.

3)有紮實的java基礎知識，對程式設計有興趣愛好。

4)使用過spring、Mybatis等開源框架;

5)熟練使用sql語句的增、刪、改、查。

6)熟練掌握eclipse、pl/sql或svn。

7)使用過tomcat，熟悉tomcat基本操作。

8)有良好的學習、理解能力、溝通能力、邏輯思維能力。能夠虛心學習，上進心強。

9)，年齡在28歲以下。

大資料開發工程師的具體職責 篇20

職責：

1、負責Web產品前後端開發和專案定製開發;

2、負責UI/UE設計、技術實現，能獨立解決開發中的重難點問題;

3、負責對現有產品提供維護和支援，及時解決執行過程中出現的問題;

4、對分配的軟體功能模組進行設計、編碼、維護，符合公司規定的規範要求;;

5、根據產品經理的策劃，完成產品的設計開發、程式碼編寫，撰寫技術文件和技術報告。

6、跟蹤新技術發展，並將其應用於產品中

崗位要求：

1、全日制本科以上學歷，計算機相關專業，3年以上相關開發工作經驗;

2、具備良好的計算機基礎、程式設計能力、分析能力，熟悉常見的資料結構和演算法，對Html/Java語言有一定的瞭解;

3、熟練使用後端主流開源框架(Spring MVC/MyBatis)進行快速開發，以及熟悉Web前端開發技術(Html/Javascript/CSS)，熟悉流行的Web前端框架(JQuery/Bootstrap);

4、熟悉Oracle、MSSQL、MySQL至少一種主流關係型資料庫;

5、熟悉常用伺服器的配置及維護和管理等工作;

6、有創業創新精神，抗壓能力強，具有良好的學習能力、語言表達能力、溝通能力