大資料開發工程師的主要職責（精選22篇）

大資料開發工程師的主要職責 篇1

職責:

1. 負責機票酒店大資料專案的評估、設計及關鍵模組研發;

2. 參與公司大資料平臺及聯機分析系統的建設;

3. 機器學習演算法討論、評估及演算法的最終編碼實現;

4. 資料平臺開發規範制定，資料建模及核心框架研發;

任職要求:

1. 本科及以上學歷，計算機或數學相關專業，三年以上相關工作經驗;

2. 掌握Java、Python、Scala等 中的一到兩種語言;

3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL資料庫開發和調優;

4. 熟悉資料相關開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;

5. 對資料結構和機器學習演算法有一定的瞭解;

6. 具有海量資料處理、資料探勘、資料分析相關專案的工作經驗者優先;

7. 有機票酒店等旅遊行業資料開發經驗者優先。

大資料開發工程師的主要職責 篇2

職責：

1、 負責基於Hadoop/Spark平臺架構的開發、設計和佈局 ;

2、 完成系統框架的設計和核心程式碼的編寫;

3、 針對海量的使用者行為資料進行統計、分析與挖掘，不斷提高系統執行效率;

4、 負責對資料進行分析，為專案組提供大資料技術指導及分析手段支撐;

5、 負責大資料平臺的效能監控和持續優化;針對需求提供大資料分析技術解決方案 ;

6、 大資料平臺的運維工作，持續完善大資料平臺，保證穩定性、安全性;

7、 熟練使用大資料ETL資料抽取工具;

8、領導安排的其他工作。

任職資格：

1、 3年網際網路行業開發經驗，計算機或相關專業本科以上學歷;

2、 精通Hadoop大資料平臺架構，具有紮實的Java/Python等開發語言;並可以開發高效可靠的程式碼;

3、 具有較強的資料分析、資料探勘的能力;

4、 熟悉spark、Hive、storm等計算框架者優先，對分散式儲存和計算原理有較深的理解;

5、 嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能;

6、 個性開朗，對技術鑽研好學、邏輯思維能力強，溝通能力優秀，有團隊合作精神。

大資料開發工程師的主要職責 篇3

職責：

1、負責公司大資料平臺建設;

2、根據業務需求，制定資料倉庫和資料分析平臺的實施和持續更新;

3、攻克技術難關，保證大資料系統的穩定執行;

4、完成大資料產品的開發。

職位要求：

1、計算機相關專業全日制專科及以上學歷，大資料相關經驗;

2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大資料相關技術;

3、精通SQL語句並對Redis，Mongodb等NoSQL資料庫有一定經驗;

4、對於高併發、高穩定可用性、效能、大資料處理有過實際專案產品經驗者優先;

5、責任心強，工作踏實，有團隊協作精神，溝通能力強者優先。

大資料開發工程師的主要職責 篇4

職責：

1、負責公司專案應用監測資料，分析軟體大資料平臺的程式碼開發;

2、負責大資料體系架構設計和應用產品的研究;

3、負責大資料平臺及應用場景的構建、部署、測試;

4、編寫軟體研發相關技術文件;

5、編寫產品研發相關任務單計劃，階段性程式碼、技術方案和軟體產品及時提交至配置管理理庫;

6、Spark程式的研發，sqoop指令碼開發和商家使用者行為等離線分析資料;

7、kudu，kylin等技術調研，編寫軟體研發相關技術文件;

8、SUNMI數倉設計架構以及ETL流程開發;

9、建立多維度，多體系的使用者標籤體系以及使用者行為資料庫。

崗位要求 ：

1、本科以上學歷，4年以上?工作經驗，2年以上Hadoop平臺的相關研發經驗，具有良好的需求分析，方案設計，架構設計，程式編寫、測試能力;

2、熟悉J2EE或Python平臺開發，有良好的Java或Python語言功底;

3、瞭解Linux/Unix作業系統，瞭解指令碼程式設計(Shell/Python其中一種);

4、具備資料中心資源管理(YARN)、監控(ClouderaManage)、排程(Azkaban)等系統研發經驗者優先，具備分散式系統研發經驗者優先;

5、熟悉hadoop以及其?生態圈系統上的hive、hbase、sqoop、spark、spark-streaming等技

術，懂hadoop原始碼者優先;

6、熟悉Kylin有OLAP平臺設計和開發經驗優先;

7、具有應用大資料技術處理TB級以上資料的專案開發經驗者優先;

8、有較清晰的程式碼編寫規範，邏輯性強，工作態度認真，良好溝通能力和團隊合作精神。

大資料開發工程師的主要職責 篇5

職責：

1.負責公司環保大資料平臺的架構與搭建;

2.負責需求分析，根據客戶應用需求規劃大資料平臺架構;

3.負責將大資料平臺部署至私有伺服器群、私有云或公有云;

4.負責在企業內部進行資料平臺原型開發與資料實時互動、儲存效能測試;

5.負責與資料探勘演算法互動的架構設計與開發。

任職要求：

1.計算機相關專業，全日制本科以上學歷;

2.具有3年以上大資料相關應用開發經驗，有Java開發經驗更佳;

3.至少熟悉一種流行的大資料程式設計框架，如Spark，Storm，Flink等;

4.熟悉大資料生態圈常用技術如RocketMQ，Kafka，Flume，Zookeeper等;

5.熟悉Hadoop安裝、除錯、釋出配置應用，熟悉Linux作業系統更佳;

6.至少熟悉TIDB，MySQL，SQLServer其中一種資料庫;

7.學習能力強，對技術有熱情，關注技術發展方向;

8.具有工業物聯網、智慧型環保專案背景者優先。

大資料開發工程師的主要職責 篇6

職責：

1、負責公司核心系統日常運維以及公共元件的設計、開發和維護;

2、負責開發、完善運維內部系統及輔助系統，提升運維質量及效率;

3、與開發團隊合作，收集與理解需求，提供解決方案，改善DevOps流程;

4、負責公司業務系統的部署架構優化、業務監控、持續交付、應急響應、容量規劃等。

【工作要求】

1、計算機相關專業，本科及以上學歷;

2、熟悉Kubernetes, Docker, RabbitMQ, Zookeeper, Mysql, PostgreSql, Git, Elasticsearch等開源元件的架構及實現;

3、熟練掌握PHP、Python、Go、Shell語言中任意一種;

4、熟悉典型網際網路架構、微服務維護實踐，和常見的分散式系統架構;

5、熟悉 Linux 作業系統原理、TCP/IP、網路程式設計以及常用RPC協議;

大資料開發工程師的主要職責 篇7

職責：

1、具有專案質量管理意識，在專案中主動貫徹執行質量管理規定，熟練使用Git/Junit/Arquillian/Maven(或者其他)進行測試 程式碼的編寫和版本控制，把控專案整體進度，管理JAVA小組日常工作協調。

2、參與系統詳細設計與實現、完整主體功能及相關文件的編寫;

3、負責核心業務的restful、web service等介面的開發，解決開發過程中遇到的技術問題，完成相應的業務功能文件、介面使用文件並及時更新;

4、維護和部署程式到執行環境;

5、參與專案的資料庫設計實現，對資料庫整體架構提出建議;

6、負責對應用程式進行審查，監控和優化系統的效能。

7、完成公司上級領導安排的其它工作內容。

職位要求：

1、3年以上JAVA網際網路專案管理工作經驗，抗壓能力強。

2、瞭解分散式系統的設計和架構，瞭解負載均衡策略實現;

2、精通Java語言開發，JAVA基礎紮實，精通io、多執行緒、集合等基礎框架，熟悉分散式、快取、訊息、搜尋等機制，熟練各種常用開源框架及搭建;(有分散式事務處理相關工作經驗者優先)

3、精通sql語句熟悉mysql以及 mysql 叢集;熟悉Linux下的常用命令;

4、有maven、cas、dubbo、restful相關工作經驗者優先考慮;

大資料開發工程師的主要職責 篇8

職責：

1、利用HTML5相關技術實現移動WEB端功能研發，實現邏輯功能和體驗優化;

2、根據需求，參與底層通訊、資料載入、基礎流程框架、UI元件的開發;

3、依據服務端制定的通訊、資料和檔案結構等技術開發對應模組;

4、完成程式效能的優化。

任職要求：

1、計算機、軟體等相關專業，2年或以上HTML5開發經驗，有百度、谷歌等引擎開發使用經驗;

2、熟悉Javascript、HTML/HTML5/XML、CSS3、Ajax、JQuery、VUE 等;

3、有良好的邏輯思維，積極主動，有強烈的責任心;

4、有網際網路金融開發經驗優先;

5、具備較好的溝通表達能力和團隊合作意識。

大資料開發工程師的主要職責 篇9

1、負責資料倉庫和大資料處理模組的架構設計和開發;

2、負責實現基於Spark框架的分散式計算框架的設計和開發工作;

3、負責Spark技術研究和通用資料平臺的效能調優;

4、負責大資料專案中，基於kafka、flume、spark streaming、Spark SQL等相關技術的海量資料的處理、分析、統計、挖掘工作。

5、熟悉Scala/Java語言，對Scala/Java原理、底層技術有深入研究者優先;

6、有過海量資料系統開發經驗者優先;

7、熟悉Hadoop/Spark生態系統元件的使用，至少有2年以上的Spark開發經驗;

8、寫過推薦系統的優先考慮

大資料開發工程師的主要職責 篇10

職責：

1、專案中資料庫系統的架構設計、開發、優化、安全;

2、根據專案需求設計資料庫表與資料庫結構。

3、資料庫效能優化：表、欄位、位元組規範設計，分庫分表，資料遷移;

4、資料庫規範化文件編寫及管理;

5、服務端的搭建，資料庫儲存和讀取資料介面的編寫。

任職要求：

1、本科以上學歷，計算機或數學相關專業，有紮實的資料庫基礎知識;

2、兩年以上資料庫開發經驗、熟練使用MySQL、SQLServer、Oracle等關係型資料庫;

3、 熟悉LINUX、UNIX作業系統，熟悉java、C#或其他開發語言;

4、精通資料庫基本理論及概念;

5、有大資料開發經驗優先考慮;

6、能承受工作壓力、有良好的團隊合作精神。

大資料開發工程師的主要職責 篇11

職責：

1、協助產品線負責人搭建資料庫，及資料分析、資料庫管理;

2、協助負責後臺系統需求分析和任務模組開發;

3、協助客戶端介面開發測試;

4、介面文件，技術文件以及測試用例文件的編寫。

任職資格：

1、23-28週歲，本科及以上學歷，計算機相關專業;

2、3年或以上同崗位相關工作經驗，有資料中心，資料倉庫建設經驗;

3、3年或以上J2EE開發經驗,有紮實的java基礎;

4、熟悉關係型資料庫(DB2、ORACLE、MYSQL、SQl Server)，瞭解NoSQL、快取技術;

5、熟練掌握Spring、SpringMVC、iBatis等開源框架，熟練運用設計模式;

6、對技術有熱情，執行力責任心強且在醫療行業同崗位的優先。

大資料開發工程師的主要職責 篇12

職責：

1、負責PC網站、移動端網站後臺開發;

2、參與相關頁面的Web前後臺架構設計、核心程式碼的編寫;

3、協助測試和釋出系統，準備相關的技術文件，協助解決各種技術問題;

4、進行詳細設計、程式碼開發,配合測試,高質量完成專案;

5、按照專案計劃，按時提交高質量程式碼，完成開發任務。

任職資格：

1.大專以上學歷。參與公司PHP相關產品或專案需求的分析、架構設計與實現。

2.有3年以上PHP實際開發經驗，紮實的php開發功底。

3.精通PHP，至少熟悉Yii，YAF、CI、Thinkphp，Laravel其中一個主流開發框架，深入理解MVC與OOP。

4.精通MySQL資料庫，熟練掌握MySQL效能優化、語句優化 、主從複製、讀寫分離、防SQL注入等技術，具備PHP快取技術、靜態化設計方面的經驗。

5.熟練使用Nosql、例如Redis、MongoDB、等非關係型資料庫。

6.熟悉Linux環境下的專案開發和部署，熟悉Shell指令碼程式設計。

7.熟練掌握Jquery、HTML、XML、Javascript、AJAX等技術。

8.熟練使用SVN、Git等常見版本控制工具。

9.有專案規劃能力者、有辦公系統(OA)、資訊管理系統、CRM系統等大型軟體應用系統方面開發經驗者優先。

10.有已經上線的專案;熟悉微信開發者優先，有服務化架構開發經驗者優先，在github有開源專案維護者優先。

大資料開發工程師的主要職責 篇13

職責：

1、負責資料中心和大資料處理平臺的搭建

2、線上和離線海量資料分析平臺的開發;

3、研究大資料前沿技術，提升系統的運維效率;

4、參與大資料的採集、儲存、處理，分析等開發

5、參與資料探勘演算法的設計、對海量資料進行挖掘分析和發掘資料價值及演算法學習及實現

【任職要求】：

1、計算機或相關專業本科學歷及以上，2年工作經驗以上

2、熟悉Java/Scala等至少一門語言，能對分散式常用技術進行合理應用，解決實際架構問題

3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大資料開發元件

4、熟悉整個大資料的完整處理流程，包括資料的採集、清洗、儲存、分析和視覺化及報表開發;

5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

6. 具有優秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。

7. 有BI開發經驗的優化考慮。

大資料開發工程師的主要職責 篇14

職責：

1、負責開放平臺應用系統/模組的程式編碼及單元測試;

2、配合系統整合測試、使用者驗收測試等測試過程;

3、協助進行需求分析文件的整理、協助進行產品歸檔管理等。

任職要求：

1、大學本科及以上學歷(統招、學信網可查)，計算機或相關專業，4年及以上java開發經驗，有銀行專案經驗優先;

2、精通Java語法，熟悉J2EE架構，並能熟悉使用開發框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);

3、瞭解html、xml、css，瞭解Javascript, Ajax，webservice技術;

4、熟悉運用各種IDE開發工具(eclipse / Jbuilder，dream weaver);

5、瞭解應用伺服器的釋出與配置(Websphere，Tomcat)

6、對資料庫基礎知識及相關資料庫產品有一定的瞭解(db2，oracle)，能熟練使用SQL語法;

7、熟悉UNIX/LIUNX常用命令;

8、具有良好的溝通能力與團隊合作精神。

大資料開發工程師的主要職責 篇15

職責：

1、 負責參與系統框架的設計和不斷優化，參與系統設計;

2、 根據使用者的需求,分析並給出最優的技術解決方案;

3、 根據開發規範與流程獨立完成模組的設計、編碼以及相關文件;

4、具有獨立分析和解決問題的能力。

任職要求：

1、全日制本科學歷，計算機相關專業。

2、有1年及以上J2EE開發經驗，充分掌握面向物件程式設計思想並有較好的設計模式基礎，熟悉常用演算法和資料結構;

2、熟悉Spring、Hiberate、jQuery等開發框架、瞭解其原理和實現機制;

3、熟悉MYSQL等關係型資料庫，掌握PL/SQL、儲存過程、觸發器、檢視的編寫;

4、熟悉Apache，Tomcat等主流Web應用伺服器;

5、精通HTML+CSS+JS程式設計，熟悉HTTP 協議以及瀏覽器原理;

6、熟悉主流前端框架，包括但不限於Bootstrap、Vue、Anglajs等;

7、有WebGIS開發經驗者優先;

8、具有大型網站開發經驗者優先。

大資料開發工程師的主要職責 篇16

1，協助開發RFID 應用系統;包含RFID標籤和RFID裝置的配合設計;

2，根據國外客戶的要求，開發新的應用軟體;整理和協調客戶的需求，提出RFID針對不同客戶需要的方案

3，對行業機構提出的應用技術需求做調研和開發，做產品技術儲備

大資料開發工程師的主要職責 篇17

職責：

1、負責公司產品前端頁面的開發;

2、負責相關HTML5遊戲的開發工作;

3、維護現有HTML5程式，處理使用者反饋的問題;

4、根據美工設計圖開發前端程式碼，解決瀏覽器及終端平臺的各種相容性問題;

職位要求：

1、計算機相關專業，大專以上學歷，有1年以上的相關工作經驗;

2、熟練掌握html5、css3、JavaScript、Ajax、jQuery等Web開發技術;

3、熟練掌握常用JS框架的使用，如Bootstrap、Vue、CreateJS、白鷺Egret、LayUI等;

4、熟悉頁面效能的優化，熟悉開發除錯、版本控制等基本研發技能;

5、擁有良好的編碼習慣，邏輯清晰、結構清晰、命名規範、程式碼冗餘率低;

6、工作認真負責，具有較強的發現問題並解決問題的能力;

7、有Construct2開發經驗者優先考慮;

8、具有良好的溝通能力及團隊合作精神，責任心強。

大資料開發工程師的主要職責 篇18

職責：

1、較強的邏輯思維及自學能力，做事有條理，具備較強的專案分析和解決問題的能力。

2、熟練使用PHP語言和開發技巧，精通面向物件程式設計，具有良好的程式設計風格、習慣，熟悉各種主流的MVC開發框架的使用及其原理，並有在MVC模式下進行中大型web開發的經驗.

3、熟練掌握mysql等資料庫應用、熟悉基本的sql語句，能優化表、優化sql語句，能為慢查詢建立相關索引。

5、有後端API開發經驗、熟悉API加密方式，有linux 操作經驗者且熟悉LNMP優先。

6、熟練redis，memcached等快取機制。

7、大專以上學歷，計算機相關專業畢業，3年以上工作經驗。

職位描述：

1、負責APP後端PHP_API介面開發工作。

2、負責MySQL資料庫維護，優化工作。

3、根據需求不斷修改完善專案功能

大資料開發工程師的主要職責 篇19

職責

1、負責公司自有專案的伺服器後端程式的技術研發工作，包括技術架構設計、重構、優化，根據產品規劃及技術規劃制定應用架構方案;

2、負責公司專案核心功能、資料匯流排解決方案及第三方介面的開發，主導技術難題攻關，持續提升核心系統在高併發、海量請求數下的高處理效能，編寫程式，單元測試，bug修復工作等;;

3、負責設計、編碼和除錯研發平臺後端技術框架，優化及提高後端程式碼的效能，稽核和評估相關方案與設計，以確保其符合架構規劃，滿足業務需求;

4、分析系統瓶頸，解決各種疑難雜症，對系統進行效能調優，指導程式設計師編寫程式，落實技術規範，與產品經理、測試工程師、其他成員溝通合作，保證產品研發工作的質量和進度;

崗位要求

1、軟體工程或計算機相關專業大專以上學歷，3年以上商業專案的實際開發經驗，有電商或短視訊專案的實際開發經驗;

2、精通ThinkPHP、Laravel、Yii等流行框架，熟練掌握LAMP，熟悉TP/SMARTY;

3、精通MySQL、NOSQL、MongoDB等資料庫，能夠編寫和優化複雜的SQL程式;

4、擅長訊息佇列、任務排程、負載均衡、併發控制，極具面向物件思維，懂得低耦合高複用封裝，擁有一絲不苟的程式碼編寫規範習慣;

5、熟悉Unix/Linux作業系統，熟練掌握shell、Python、Perl其中一種指令碼語言;

大資料開發工程師的主要職責 篇20

職責：

1、負責公司業務平臺功能模組的程式碼開發工作;

2、熟悉PHP開發，掌握主流框架，並擁有良好的面向物件編碼思想和註釋風格，;

3、參與需求分析、系統分析與架構設計方案，負責處理開發過程中的技術問題;

4、思維前瞻性，積極配合完成運維部門工作需求，完成上級要求各項任務;

任職要求：

1、能獨立完成一個專案的開發;

2、精通PHP程式設計，熟練運用MVC框架，thinkphp框架、larver框架;

3、熟練Mysql資料庫,具有MySQl索引優化、查詢優化和儲存優化經驗。

5、熟悉 div+css+js(jquery)等前端技術;

6、熟悉UNIX/LINUX作業系統的基本配置和命令，瞭解作業系統的體系結構,熟悉TCP/IP網路協議;

7、具備良好學習心態及團隊精神，抗壓能力強，並富有工作激情、創造力和責任感;

大資料開發工程師的主要職責 篇21

職責：

1、根據產品需求完成高質量高效能後端開發;

2、參與各產品的需求分析、規劃、系統設計;

3、負責各應用模組的編碼工作和文件編寫工作;

4、負責公司相關產品開發和維護工作。

職位要求

1、本科以上學歷;

2、3年以上PHP網站開發經驗;

3、精通Phalcon或其他PHP框架;

4、熟悉MYSQL資料庫，並對SQL優化有一定的經驗，能結合業務對複雜慢SQL進行優化;

5、熟練使用NoSQL、熟悉網際網路系統的效能優化、cache技術;

6、有良好的程式碼習慣，要求結構清晰，命名規範，邏輯性強;

7、關注新技術，較強的學習能力，具備良好的溝通、團隊合作能力

大資料開發工程師的主要職責 篇22

職責：

1、負責運維繫統、平臺的構建與開發工作

2、負責運維自動化、規範化解決方案的開發工作

3、深入理解系統，為其持續優化提供建設性意見

4、完成領導交代的其他臨時性工作。

崗位要求

1、具有5年以上開發經驗

2、本科及以上學歷，計算機相關專業優先

3、主動、正直、有責任心和團隊協作意識

4、精通Java語言、網路及多執行緒程式設計，掌握Spring、SpringCloud等常用框架技術

5、熟悉常見的開源技術，如HBase、Redis、KafKa、Dubbo、ZooKeeper等，並具備一定的經驗

6、良好的伺服器端程式設計能力和程式設計習慣，對設計模式深入理解

7、瞭解網際網路產品運維、監控，具有大型運維繫統、監控系統、工作流系統開發工作經驗者優先