大資料開發工程師崗位的主要職責概述（精選19篇）

大資料開發工程師崗位的主要職責概述 篇1

職責：

1、參與大資料架構的規劃設計，參與業務建模及資料化運營平臺的搭建、運維，對業務流程與大資料的結合提出建議和解決方案;

2、完成基於大資料平臺的業務專案的開發、實施和維護工作;

3、負責解決大資料平臺建設過程中的技術難點和效能調優工作;

4、參與資料倉庫設計，根據業務需求實現高效率高靈活性的查詢，資料分析，資料探勘;

5、負責高吞吐高可用資料實時和離線採集，高併發的大資料業務架構設計

6、負責研發技術發展方向，新技術領域的探索，引入並驗證資料平臺領域新技術，提供系統效能

7、對大資料技術及開源框架充滿熱情，具有鑽研精神，能自我學習。

任職資格：

1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql資料庫。

2、具有2年以上的大資料開發經驗，熟悉大資料、資料倉庫，分散式架構技術理論，具有大資料整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大資料產品，有從無到有建設大資料平臺經驗者優先;

3、熟悉大資料元件的開發、搭建、維護以及效能優化;

4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大資料生態、關係資料庫和NOSQL資料庫、Linux等相關知識，能夠獨立完成並指導初級開發人員完成大資料相關的技術實現和調優;

5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等元件或技術，能閱讀原始碼跟蹤問題。

6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，並有實際專案開發經驗。

7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和元件，熟練應用開發，必須熟悉複雜資料查詢效能調優，包括實時查詢和離線批處理查詢，伺服器和生態元件的引數優化。

8、精通高階演算法並有與業務結合落地優先;

9、紮實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的資料設計抽象能力，善於從複雜的資料問題中找到關鍵路徑，並且擅於跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

大資料開發工程師崗位的主要職責概述 篇2

職責：

1. 對資料進行結構化、標準化處理，對處理流程進行自動化搭建

2. 通過ETL/Cube資料建模，構建基於資料倉庫的分析工具;

3. 參與資料與公司軟體產品及第三軟體的API對接;

4. 搭建與優化，資料採集、處理、視覺化流程中所需的框架與模組開發;

5. 協同內外部力量完成需求的表達與技術攻關。

任職要求：

1. 熟悉資料庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量資料經驗的優先;

3. 熟練使用ETL工具進行資料抽取，清洗，轉換，關聯等操作;

4. 熟練使用Linux作業系統,具備編寫shell的能力;

5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;瞭解過原始碼的優先;

6. 具有2年以上資料倉庫(DW)、商務智慧(BI)、大資料等方面的軟體或專案開發經驗;

7. 瞭解視覺化及BI工具者優先;

大資料開發工程師崗位的主要職責概述 篇3

職責：

1、 規劃及建設大資料平臺;

2、 負責大資料儲存系統、分散式計算系統、挖掘演算法等設計、研發以及維護、優化工作;

3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

4、 參與專案的系統設計和核心程式碼開發，指導和培訓其他工程師;

5、 整理和提交技術文件，負責核心功能模組的程式碼編寫和測試工作。

崗位要求：

1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通資料倉庫和資料探勘的相關技術，3年以上大資料開發相關經驗;

2、具有非常紮實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

3、演算法基礎紮實，熟悉常見的資料結構，瞭解分散式演算法和分散式系統的技術原理;

4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流雲計算，大資料相關軟體有充分的瞭解，並且有實踐經驗，能解決應用中的複雜問題;

5、熟悉大資料處理相關技術，包括但不限於Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

6、研讀過Hadoop、Hbase、Hive原始碼者，能夠在特定業務中進行定製改造者優先;

7、具有海量資料處理、資料探勘、資料分析相關專案的工作經驗者優先。

大資料開發工程師崗位的主要職責概述 篇4

職責：

1、參與大規模資料快速查詢系統的架構設計和開發;

2、大規模資料探勘和機器學習演算法的實現;

3、線上和離線海量資料分析平臺的開發;

4、研究大資料前沿技術，提升系統的運維效率;

5、實現大資料基礎架構平臺的自動化運維。

【任職要求】：

1、計算機相關專業,具有3年以上大資料開發經驗，熟悉Java,Linux;

2、熟悉Hadoop大資料處理系統的開發,搭建及部署者優先

3、熟練地處理資料模型、資料ETL以及儲存管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程式開發者優先;

5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

大資料開發工程師崗位的主要職責概述 篇5

職責：

1、 負責大資料平臺架構的整體設計，承擔資料抽取、清洗、轉化等資料處理程式開發;

2、 為業務運營提供技術支援，完成應用系統的搭建、優化、升級工作，保證平臺穩定執行;

3、 編寫系統的需求分析、設計、開發和部署文件等。

崗位要求：

1、碩士及以上學歷，計算機、自動化、通訊等相關專業;

2、熟練掌握Java語言，並熟悉Python語言，熟悉分散式系統架構，有hadoop，spark系統架構經驗;

3、熟悉實時計算框架storm，flink，spark streaming其中之一;

4、熟練使用SQL，熟悉資料庫原理，熟練使用至少一種主流關係型資料庫;

5、熟悉軟體開發流程，能夠根據需求編寫需求、設計、開發手冊等專案過程文件;

6、具有良好的溝通能力和主動性，抗壓能力強。

大資料開發工程師崗位的主要職責概述 篇6

職責：

1、根據公司技術文件規範編寫軟體詳細設計文件，編寫軟體說明書，編寫測試用例文件;

2、負責資料表結構設計，編寫資料庫指令碼，資料庫效能優化(SQL指令碼優化);

3、負責功能介面設計，編碼實現，程式碼檢查(編碼規範、程式碼效能等)，對外軟體介面功能實現，完成專案的整合;

4、負責功能自測(白盒測試)，測試環境搭建，協助測試人員測試，並對測試結果跟進;

5、負責功能資料維護(資料跟蹤、資料清查)，功能結構調整、Bug修改，為使用者提供系統及技術支援。

任職要求：

1、大專及以上學歷，通訊、電子工程、自動化、計算機及其相關專業;

2、1年以上JVAV開發工作經驗，金融行業優先;

3、精通J2EE技術，包括Servlet/JSP、JDBC等，對各種開源框架如Spring、spring boot、hibernate、ibatis等有實際的應用經驗;

4、精通Java程式設計、Java語言基礎紮實，熟練使用junit進行白盒測試，有實際專案實施經驗優先;

5、具備編碼和撰寫文件的能力，熟悉軟體版本控制、軟體開發流程、設計模式、體系結構，熟練使用easyui、jquery等前端技術，有相關專案經驗優先;

6、熟悉MySQL等主流資料庫，熟練掌握SQL，對各種網際網路協議有一定的理解，如HTTPHTTPS等;

7、具備自我管理、團隊精神、客戶服務、溝通能力、學習能力、邏輯分析及解決問題的能力。

大資料開發工程師崗位的主要職責概述 篇7

職責：

1、參與系統需求分析、架構設計和概要設計;

2、獨立進行系統功能模組的分析設計和核心功能的開發;

3、負責解決開發過程中的技術問題;

4、有能力參與需求分析、軟體設計、計劃制定與一些技術文件的編寫工作;

5、定期向上級主管彙報工作情況。

任職要求：

1、有紮實的Java開發經驗，具有3年及以上Java開發經驗，計算機相關專業;

2、具備良好的面向物件程式設計經驗，具有較強的分析設計能力;

3、熟練HTML/CSS/Javascript/JQuery等前端開發;

4、精通MySQL，Oracle，熟練掌握SQL，儲存過程編寫等;

5、熟悉SpringMVC等Java框架，精通Springboot,MyBatis,Hibernate,Netty,Mina優先;

6、有開發系統介面經驗;

7、有客戶現場開發經驗;

8、善於學習與溝通，具有團隊精神;

大資料開發工程師崗位的主要職責概述 篇8

職責：

1、負責進行使用者需求收集和分析;

2、運用SQL資料庫語法，進行系統的二次開發和運維;

3、軟體安裝，除錯，資料匯入，使用者許可權設定;

4、培訓甲方公司系統操作人員，使其掌握系統操作方法。

【任職要求】

1、具有良好的SQL Server或Oracle資料庫程式設計基礎;

2、具有較強的學習能力和良好的溝通能力;

3、工作積極主動、具有團隊合作精神;

4、具有資料庫開發相關經驗，或軟體實施、運維經驗優先。

大資料開發工程師崗位的主要職責概述 篇9

職責：

1.充分理解業務需求，根據產品開發計劃安排，高效高質地完成開發和自測工作;

2.參與公司C端產品介面和管理後臺的設計和開發，包括學習平臺、知識庫等;

3.維護現有營銷系統、中樞系統、教務系統等;

4.具有系統優化和監控意識，能及時排查線上使用者反饋問題，保障系統穩定執行。

任職要求：

1、擁有拼搏、服務、創新、開放、協作的價值觀，有強烈責任心和團隊合作溝通能力;

2、具備2-4年JAVA開發經驗，熟悉微服務設計和前後端分離開發，有網際網路產品開發經驗優先;

3、熟悉spring boot/spring+mybatis+redis開發框架，有dubbo分散式開發經驗優先;

4、熟悉mysql資料庫,瞭解分庫分表，使用過訊息佇列;

5、邏輯思維能力強，熟悉業務抽象和資料模型設計和介面協議設計等，有重構優化程式碼的能力;

6、瞭解zookeeper註冊中心，統一配置中心等。

大資料開發工程師崗位的主要職責概述 篇10

職責：

1、在上級指導和監督下定期完成量化的工作任務;

2、參與需求分析、設計、評審;

3、執行上級主管安排的工作任務，對負責模組進行設計和開發測試;

4、對自己負責的工作質量進行把關，主動進行技術與業務知識總結;

5、負責專案的日常開發維護工作等。

入職要求：

1、計算機、通訊類等相關專業，一年以上軟體專案開發實施經驗;

2、熟練掌握Java面向物件程式設計、Socket程式設計、多執行緒程式設計、I/O流程式設計、XML文件解析;熟悉基本(工廠，單例)等設計模式;

3、熟悉SQL語法，熟悉JAVA語言，熟悉開發環境;

4、熟悉Linux系統的基本操作以及相關命令列的使用;

5、熟練使用至少一種大型關係型資料庫;

6、良好的表達溝通能力，極強的團隊合作精神，能夠承受一定工作壓力。

大資料開發工程師崗位的主要職責概述 篇11

職責：

1、參與銀行、支付、保險等系統的開發工作;

2、參與需求分析，系統設計和開發等各項工作;

3、能按時、獨立、高質量的完成工作，對自己的程式碼嚴格要求;

4、能指導初級程式設計師工作，並負責CodeReview;

5、能解決複雜的技術問題;

任職要求：

1、3-5年JAVA實際開發經驗，計算機相關專業大專以上學歷(硬性要求：學歷必須學信網可查)

2、熟悉Java主流框架，能夠獨立完成功能模組設計和開發;

3、掌握HTML、JavaScript、CSS、Ajax、JQuery等前端技術;

4、熟悉Oracle、MySql等主流資料庫的使用，熟悉儲存過程及SQL的效能優化;

5、熟悉Tomcat、JBoss等應用伺服器的應用部署和配置，有Linux操作經驗;

6、具備良好的表達和溝通能力，能很好的融入團隊工作;

7、有銀行、支付、保險等相關係統開發經驗優先;

大資料開發工程師崗位的主要職責概述 篇12

職責：

1、負責公司線上平臺系統的設計、評審、編碼等開發和迭代升級工作，確保相關係統穩定可靠執行;

2、完成系統架構設計、資料庫結構設計、業務邏輯抽象、元件封裝等編碼工作;

3、與產品經理、前端開發工程師保持良好溝通，能快速理解、消化各方需求，並落實為具體的開發工作;

4、對自己開發的模組的效能、穩定、安全等方面的監測和調優承擔

任職要求

1、3年以上的PHP專案開發工作經驗，熟練掌握各種API介面研發;

2、精通PHP，深入理解MVC模式，精通OOP開發，熟練運用常用設計模式開發;

3、熟悉html5/CSS3/javascript/AJAX等前端技術，熟悉jQuery/Bootstrap等前端類庫/框架;

4、熟悉MySQL資料庫設計，熟悉分散式儲存者優先;熟悉LNMP/LAMP架構的搭建、配置和優化;

5、熟悉redis/memcached底層快取技術，有高併發開發經驗者優先;

6、有中大型電商系統、ERP系統等專案開發及維護經驗者優先;

7、精通一種或多種PHP開發框架，熟悉Laravel/Magento者優先;

8、具備較強的獨立開發能力和學習能力，同時需要較強的團隊協作精神、良好的表達能力和溝通能力;

9、工作認真負責，思路清晰，思維敏捷，能承擔較大的工作壓力，能適應創業型公司的成長速度和挑戰，具有較強的自我驅動力;

大資料開發工程師崗位的主要職責概述 篇13

1、 負責醫療器械裝置的機械方案設計、專案評估;現有儀器裝置的改進設計;

2、 完成相關圖紙繪製、3D模型及加工圖紙的轉化、設計資料的輸出;機械相關零部件的選型、採購清單的編制與輸出;

3、 製作裝置的機械BOM表;

4、 產品的安裝、除錯及驗證。

大資料開發工程師崗位的主要職責概述 篇14

職責：

1. 根據客戶需求，負責產品設計和開發工作;

2. 根據公司的質量要求，對所負責開發的產品進行單元測試;

3. 承擔部分新技術試驗和研究，並應用到公司產品中;

4. 能夠高效解決專案開發中遇到的問題;

5. 保質保量及時的完成公司下達的任務;

崗位要求：

1. 熟練使用PHP,熟悉ThinkPHP框架者優先;

2. 熟練使用Web前端技術，例如HTML/HTML5、JS、JQuery、CSS等;

3. 熟悉SQL語言，熟悉MySQL等資料庫的應用開發;

4. 具備良好的程式碼程式設計習慣及較強的文件編寫能力;

5. 具備良好的團隊協作精神，極強的責任心;

6. 具有大型網際網路應用開發經驗者優先。

大資料開發工程師崗位的主要職責概述 篇15

職責：

1.負責公司網際網路產品的部分功能設計，功能研發;

2.負責模組程式碼的編寫以及程式碼質量控制;

3.負責與其他業務單位的技術對接工作。

任職要求：

1.計算機相關專業，本科或本科以上學歷，接受應屆生;

2.紮實全面的計算機基礎知識(演算法、資料結構、資料庫系統、網路安全等)，強大的編碼能力;

3.紮實的Java語言基礎，熟悉Spring、Spring MVC、Spring Boot、MyBatis等開發框架技術，熟悉主流的設計模式，會使用maven構建工具;

4.熟悉mysql或MariaDB，精通SQL語法，熟悉Redis快取資料庫;

5.具有微信平臺(公眾號、支付、小程式)和支付寶平臺(生活號、支付)相關開發經驗的優先;

6.具體較強的學習能力，對未知技術和領域能快速掌握並實踐;

7.正直誠實，熱愛網際網路開發，有較強的溝通和團隊協作能力;

大資料開發工程師崗位的主要職責概述 篇16

職責：

1、 根據開發進度和任務分配，完成相應模組軟體的設計、開發任務;

2、 參與軟體產品及專案的規劃工作，制定具體專案實施方案;

3、參與新技術的預研和應用工作;

4、 參與產品核心功能設計、開發。

任職要求：

1、至少2年以上的J2EE實際開發經驗;

2、精通Java語言，掌握IO、多執行緒、集合及JVM原理和效能調優;

3、熟悉spring+mybatis架構以及spring security安全策略;

4、 熟悉HTML5/CSS3/JQuery等相關技術，熟悉HTML/XHTML/CSS等網頁製作技術，熟悉頁面架構和佈局;

5、熟悉主流WEB伺服器之一，如TOMCAT，JBOSS等;

6、熟悉WebService的介面開發;

7、具有較強的責任心，良好的團隊精神和敬業精神;

8、具有較強的學習能力、溝通能力，樂於接受有挑戰性的工作;

9、 有工作流相關專案經驗者優先。

大資料開發工程師崗位的主要職責概述 篇17

負責公司電商平臺、內部管理系統架構設計及優化;

與產品經理和業務部門協調合作，參與設計方案，確定實現方案並最終實現程式碼;

主要用php開發，但不限於php，會涉及JavaScript，CSS，HTML，Shell等;

領導或參與技術問題的攻關，解決技術上遇到的瓶頸問題;

參與技術規範的建立、維護、稽核(程式碼規範、資料庫命名、使用規範等);

對程式碼質量負責，參與程式碼評審，保證程式碼的精簡，無錯和執行效率;

每月在自己負責的模組上，儘可能重構程式碼，優化設計;

大資料開發工程師崗位的主要職責概述 篇18

職責：

1、參與大型JAVA應用系統產品研發和支援;

2、參與大型JAVA 應用專案開發，實施，維護工作;

3、參與需求分析和設計;

4、按照公司規範編制高質量程式碼;

5、按照公司規範對於程式碼進行測試，保證交付程式碼質量;

6、編寫相關技術文件;

7、協助架構師做好相關研發工作。

8、參與產品的使用者調研和需求分析，將使用者需求轉化為軟體需求規格(高階工程師);

9、參與公司產品及應用架構設計及核心編碼(高階工程師);

10、負責公司團隊技術培養(高階工程師);

任職要求：

1、程式設計基礎紮實，有3-5年的開發經驗;

2、會用Git、SVN、Maven等專案管理工具;

3、熟練使用Mybatis,Hibernate,Spring MVC,Spring,Spring Boot,redis;

4、熟悉工作流引擎(Activity)和Java 規則引擎;

5、熟練使用Oracle，SQLServer，MySQL中至少一種資料庫系統;熟練運用Sql語句;

6、熟練使用css、JS,Jquery，EasyUI前端開發;

7、精通eclipse 開發工具使用;

8、對工作有很強的責任感和很高的熱情，適應在壓力下的工作、良好的團隊協作精神;

9、具備一定的軟體設計能力和文件編寫能力，在編碼方面對自身有較高的要求，對於新的技術有較高的學習熱情;

10、程式設計基礎紮實，有5年以上的java開發經驗(高階工程師);

11、精通MybatisHibernateSpring MVCSpringSpring Boot(高階工程師);

12、精通工作流引擎(Activity)、規則引擎，Restful介面開發(高階工程師);

13、瞭解分散式框架duboo(高階工程師);

14、熟練使用MySql、Oracle資料庫，對記憶體資料庫、大資料量處理、資料庫效能優化有一定經驗(高階工程師);

15、有責任心，有較好的計劃與執行能力, 具備良好的溝通能力和優秀的團隊管理能力(高階工程師);

16、有大型成功上線產品(高階工程師)。

微服務架構師要求：

17. 精通分散式、大流量系統的設計與開發，具有豐富的架構設計經驗，精通基於Spring boot、Spring Cloud的微服務架構。

18. 對各種開源的框架如spring cloud、dubbo等有深入的瞭解，對框架本身有過開發或重構者優先;

19. 熟悉docker、mesos、rancher等容器技術並有實際使用經驗。在服務治理，服務監控方面有相關開發經驗;

大資料開發工程師崗位的主要職責概述 篇19

職責：

1、數字貨幣領域資料統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的資料處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對衝策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程式編寫經驗者優先。