大資料開發工程師的基本職責（精選20篇）

大資料開發工程師的基本職責 篇1

職責：

1.參與大資料平臺搭建以及專案技術架構。

2.資料分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大資料相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，程式設計基礎紮實，有2年以上大資料開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL效能調優經驗

5、有資料倉庫ETL經驗者優先

6、有使用者行為日誌採集、海量資料處理、資料建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟體，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大資料開發工程師的基本職責 篇2

職責:

1、負責大資料平臺的基礎環境搭建與效能優化，完成平臺的構建與維護、實時流計算平臺、分散式排程、視覺化報表等平臺的架構與研發;

2、對各種開源框架進行深入的程式碼剖析和優化;

3、參與大資料技術方案評審;

4、指導國中級大資料工程師工作;

崗位要求:

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分散式計算平臺研發工作經驗;

2. 對大資料相關元件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架;

3. 具備構建穩定的大資料基礎平臺的能力，具備資料收集、資料清洗、資料倉庫建設、實時流計算等系統研發經驗;

4. 對技術有熱情，有不錯的資料思維和敏感度，有一定的資料分析能力優先，對深度學習、機器學習有一定的瞭解優先;

5. 工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

大資料開發工程師的基本職責 篇3

職責：

1、大資料日誌分析系統的設計，選型和開發;

2、配合各業務給予資料支援，對產品和運營資料總結和優化;

3、處理使用者海量資料，提取、分析、歸納使用者屬性，行為等資訊，完成分析結果;

4、發現並指出資料異常情況，分析資料合理性;

5、公司大資料基礎架構平臺的運維，保障資料平臺服務的穩定性和可用性;

6、大資料基礎架構平臺的監控、資源管理、資料流管理;

7、基於資料分析的可預測的雲平臺彈性擴充套件解決方案。

任職要求：

1、日誌分析資料系統實際經驗;

2、3年以上網際網路行業研發經驗，有使用Hadoop/hive/spark分析海量資料的能力;

3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與除錯;

4、熟悉大資料周邊相關的資料庫系統，關係型資料庫和 NoSQL。

5、掌握 Linux 作業系統的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大資料開發工程師的基本職責 篇4

職責：

1、數字貨幣領域資料統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的資料處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對衝策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程式編寫經驗者優先。

大資料開發工程師的基本職責 篇5

職責：

1、負責資料分析、加工、清理、處理程式的開發;

2、負責資料相關平臺的搭建、維護和優化;

3、負責基於Hadoop/Spark/Hive/kafka等分散式計算平臺實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有程式碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行資料處理, 並具有SPARK SQL優化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大資料開發工程師的基本職責 篇6

1、根據公司資訊化發展需要和業務流程要求，對現有系統進行定製化二次開發和功能擴充套件，制定二次開發方案、計劃並實施，分析並解決開發過程中的問題;

2、自主開發滿足公司庫存管理系統、訂單報價系統及WIFI系統對接等，負責軟體產品的架構設計、功能模組設計、資料庫結構設計及核心程式碼開發;

3、對內部流程系統及自主開發軟體系統進行維護，保障軟體系統的穩定執行;

4、負責相關係統的技術支援和內部系統操作培訓;

5、完成上級臨時交辦的其他工作。

大資料開發工程師的基本職責 篇7

職責：

1、 負責部門團隊技術人員培養，公司各平臺後端功能設計及優化;

2、 參與專案框架設計、系統分析及流程控制、溝通對接等工作;

3、 獨立或者分組進行鍼對專案需求的功能開發和優化;

4、 擁有良好的程式碼習慣，要求結構清晰，命名規範，邏輯性強，程式碼冗餘率低;

5、 根據專案開發進度和任務分配，開發相應的應用模組;

6、 根據需要不斷修改完善專案功能，參入核心程式碼的編寫;

7、 負責核心模組程式碼研發工作，尤其服務端產品的架構分析、資料庫、演算法策略設計及核心研發;

8、 確保程式碼規範及程式碼質量;

9、 遇到關鍵技術難題時，及時進行問題定位、解決方案設計及驅動落實;

任職資格：

1、 計算機相關專業本科及以上學歷，3年以上PHP開發經驗，大廠經驗優先;

2、 具有抓取開發經驗、MySQL索引優化、查詢優化和儲存優化經驗、PHP快取技術、靜態化設計方面的經驗，要求隨時隨地貫徹最優化開發的思想，所負責的專案須能承擔繁重的訪問壓力;

3、 精通PHP/MySQL開發，精通memcache、squid、redis等快取技術者優先;

4、 有大流量併發網站工作經驗，有創新思維並勇於挑戰新事物;

5、 具有大資料量、高訪問量、高併發網站設計開發經驗;

6、 熟悉掌握HTML、JS 、CSS 等前端技術 ;

7、 具備良好的程式設計習慣，熟練掌握OOP程式設計和常見設計模式 ;

8、 具備團隊開發經驗，熟練掌握SVN 、Git 等常見工具的使用 ;

10、 責任心強，良好的對外溝通和團隊協作能力，能承受工作壓力。

大資料開發工程師的基本職責 篇8

l 參與數字礦區系統技術規劃、功能設計、功能實現，撰寫技術文件;

l 負責數字礦區系統軟體及模組功能開發工作;

l 負責數字產品開發;

l 完成領導交辦的其他任務。

大資料開發工程師的基本職責 篇9

職責：

1、負責根據需求調研結果，進行功能設計、詳細設計;

2、負責需求和設計過程中相關文件的編制;

3、負責核心程式碼的編碼和單元測試;

4、對技術難點進行攻關，並負責知識釋出和知識傳遞。

任職要求：

1、全日制公立本科以上學歷，計算機相關專業;

2、有3年以上基於J2EE B/S結構軟體的開發經驗;

3、熟悉HTML、JavaScript、AJAX等相關WEB技術，熟練掌握JQuery類庫;

4、熟悉Servlet、JSP、JavaBean、XML等知識;

5、熟悉spring、springMVC、mybatis框架;

6、熟悉資料庫開發，熟悉ORACLE等;

7、有良好的學習能力、團隊協作能力，主動溝通能力;

8、愛崗敬業，服從指揮，認真負責;

大資料開發工程師的基本職責 篇10

職責:

1、負責軟體產品的研發工作;

2、負責系統分析、設計以及編碼工作，系統瓶頸分析及解決;

3、負責分析並處理系統故障;

4、負責系統重構以及新產品的研發。

任職資格:

1、計算機或相關專業本科及以上學歷;

2、5年以上J2EE實際專案的程式設計經驗;

3、有MySQL等主流資料庫的實際應用經驗;

4、熟悉常用框架，如 struts2、springmvc、spring boot 、hiberante;

5、熟悉並熟練掌握多執行緒，大資料處理方面技術，以及 Dubbo、MQ、快取等元件;

6、熟悉Web前端開發，熟悉Javascript、Jquery、JSON、Ajax、CSS+DIV、DHTML、XML等頁面處理技術;

7、通過SVN進行團隊協作開發;

8、具備良好的溝通能力與獨立工作能力;

9、具備較強的學習能力和良好的工作效率。

大資料開發工程師的基本職責 篇11

職責:

1. 針對公司的監控系統進行二次開發，可根據後臺資料自研展示系統。

2. 負責公司雲平臺系統的業務監控及可運維性、穩定性、高可用性問題，對雲平臺各類故障和事務應急響應，配合廠商排查問題;

3. 根據業務需求，依託開源框架體系，進行運維自動化系統部署平臺整體或者子模組的開發、設計、實現;

4. 開發並維護運維自動化指令碼，簡化日常工作;

5. 負責雲端計算運維產品的效能調優;

6. 協助開發搭建測試平臺，協助進行設計、驗證測試等工作。

任職資格:

1. 大學本科以上學歷，計算機相關專業;

2. 熟悉Linux/Unix管理和運維以及網路相關知識，至少2年以上Linux使用經驗，有 Linux 核心引數調優經驗者優先;

3. 精通python、shell或者java均可,至少3年以上的運維自動化開發經驗，可以靈活運用指令碼程式來提高運維的效率;

4. 熟悉運維相關的監控工具，有使用類似cacti，zabbix的經驗，有對zabbix二次開發經驗的優先考慮;

5. 熟悉 openstack 雲平臺日常運維操作及 neutron 網路架構優先;

6. 熟悉 ElasticSearch、Spark 、Hadoop等大資料平臺運維。

大資料開發工程師的基本職責 篇12

職責：

1、高效率高質量地完成WEB頁面和移動APP的製作工作;

2、完成複雜的業務模組的前端開發;

3、對已有功能的日常維護，以及生產問題處理、優化工作;

4、Web前端表現層及與前後端互動的架構設計和開發;

5、與後端程式研發人員密切配合，高效率高質量地完成頁面及效果的實現工作;

6、JavaScript程式模組開發，通用類庫、框架編寫;編寫開發及其他相關的工作流程文件。

任職資格

1、兩年以上前端開發經驗，具備獨立承擔前端開發任務的能力 ;

2、具有兩個以上完整專案的開發實施經驗，程式碼簡潔高效;

3、精通掌握HTML、JavaScript、Ajax、CSS、Jquery等Web開發技術;

4、熟練掌握jQuery及常用UI框架，能實現常用的UI互動效果;

5、熟練掌握HTML5+CSS3網頁製作技術，熟悉頁面架構和佈局以及相關的細節;能夠熟練運用HTML5特性構建移動端的WebApp;

6、熟悉W3C標準，熟悉各種瀏覽器差異及相容性問題的解決;

7、具備較強的文件編寫能力和良好的文件規範性;

8、良好的語言表達能力、溝通能力、較強的學習能力，主動意識強，較好的團隊合作意識;

9、工作態度認真細緻，考慮問題全面深入，有強烈的責任心和敬業精神。

大資料開發工程師的基本職責 篇13

職責：

1.負責ORACLE、SQLSEVER等資料庫的實時資料處理、故障分析出來，效能優化等;

2.定位和解決資料叢集元件效能和高可用問題，協助資料叢集監控系統的開發;

3.深入探索業務資料，創造性的思考和發現問題，能夠提出有效解決方案，協助新專案的預研和開發，資料驅動業務，

4.負責公司內外部各資料的接入和清洗處理。

任職資格：

1、計算機相關專業，本科及以上學歷，1年以上hadoop開發經驗，對分散式計算理論有深刻理解。

2、熟悉Linux開發環境，熟練Java、scala程式設計，有良好的編碼習慣;

3、熟悉Hadoop、HBase、HIVE、Spark、KAFKA等系統相關技術原理與實現;

4、熟悉mysql、sql server、oracle開發環境，對SQL語句相當熟練，具備sql調優能力;

5、有大資料運維相關經驗優先

6、具備良好的溝通能力、學習能力、分析解決問題能力;

7、英語熟練優先

大資料開發工程師的基本職責 篇14

1. 負責Android平臺的瀏覽器APP開發;

2. 在Android手機上設計並開發應用程式;

3. Android平臺框架層的維護以及擴充套件;

4. 負責Android專案的架構設計、方案的制定;

5. 根據產品功能需求設計並完成軟體實現;

6. 參與產品需求分析並制定技術實施方案。

大資料開發工程師的基本職責 篇15

職責：

1、負責公司大資料平臺建設;

2、根據業務需求，制定資料倉庫和資料分析平臺的實施和持續更新;

3、攻克技術難關，保證大資料系統的穩定執行;

4、完成大資料產品的開發。

職位要求：

1、計算機相關專業全日制專科及以上學歷，大資料相關經驗;

2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大資料相關技術;

3、精通SQL語句並對Redis，Mongodb等NoSQL資料庫有一定經驗;

4、對於高併發、高穩定可用性、效能、大資料處理有過實際專案產品經驗者優先;

5、責任心強，工作踏實，有團隊協作精神，溝通能力強者優先。

大資料開發工程師的基本職責 篇16

1、配合架構師完成系統設計和工作任務分派;

2、負責平臺分散式與高可用的核心模組設計與實現;

3、分析系統所產生的問題，並提出解決方案解決系統問題，以保障系統能夠按照需求正確達成預期效果;

4、跟蹤和分析現網平臺，以提高生產系統的健壯性、可複用性;

5、指導和幫助組員，以確保產品質量和進度。

大資料開發工程師的基本職責 篇17

職責：

1. 負責Web設計的前端開發工作，使用HTML/CSS/JavaScript開發PC和Mobile專案;

2. 與UI設計師溝通互動、視覺設計的相關問題;

3、優化產品，為使用者提供更好的視覺操作體驗;

4、對具體的產品進行效能優化，實現極致的頁面載入、執行和渲染時間;

5、在理解前端開發流程的基礎上，結合前端實際建立或優化提升工作效率的工具;

6、在理解產品業務的基礎上，提升產品的使用者體驗，技術驅動業務的發展;

7、關注前端前沿技術研究，通過新技術服務團隊和業務;

崗位要求：

1、熟練運用HTML+CSS來製作符合W3C標準的靜態頁面，相容各大瀏覽器(IE9+,Chrome,Safari,Firefox,Opera);

2、熟練掌握XHTML/HTML5/CSS/JavaScript前端技術，具有2年以上JavaScript程式設計經驗;

3、至少熟練使用一種JS框架(如 jQuery、backbone、angularjs、、 react)，並有一定的專案經驗;

4、至少了解一種前端構建工具(如 fis3、gulp、grunt、web pack);

5、至少了解一門後端開發語言(Java/);

6、熟悉Web前端與後端互動資料介面定義，前端Ajax實現Json、XML格式的資料傳送與資料解析;

7、具備良好的團隊協作精神，能利用自身技術能力提升團隊整體研發效率，提高團隊影響力;

8、對前端技術有持續的熱情，個性樂觀開朗，邏輯性強;

大資料開發工程師的基本職責 篇18

1、軟體的程式設計與程式碼編寫。

2、有關技術方案、文件的編寫，軟體單元的測試。

3、根據專案具體要求，承擔開發任務，按計劃完成任務目標。

4、配合系統分析人員完成軟體系統以及模組的需求調研、需求分析。

5、完成軟體系統及模組的編碼。

6、協助測試人員完成軟體系統及模組的測試。

7、負責編制與專案相關的技術文件。

8、根據專案具體要求，承擔大型網站設計與開發。

9、部分軟體功能模組設計和軟體介面美化。

10、協助測試試人員完成軟體系統及模組的測試。

大資料開發工程師的基本職責 篇19

職責：

1.根據需求和設計，完成後端業務功能的開發和單元測試;

2.配合測試人員調查測試中發現的問題，並解決確認的問題;

3.協助調查生產環境中發現的問題，並協助指定修復方案和計劃;

4.與其他部門相關人員進行有效的溝通，持續提高產品開發質量和效率。

任職資格：

1. 本科以上學歷，計算機相關專業畢業，3年以上Java開發工作經驗;

2. 熟悉Spring MVC, Mybatis等開源框架，熟悉微服務開發者優先;

3. 熟練運用MySql、SqlServer、TIDB其中至少一種資料庫;

4. 熟悉RPC、Kafka、RabbitMQ、Zookeeper者優先;

5. 熟悉Unix/Linux系統的常用命令者優先;

6. 具有責任心和敬業精神和良好的溝通能力，具備良好的團隊合作精神;

7. 具有工業物聯網、智慧型環保專案背景者優先。

大資料開發工程師的基本職責 篇20

1. 對接券商介面，參與因子開發等C++任務;

2. 輔助高頻策略因子開發;

3. 輔助基金交易和基金運營，包括分倉任務的維護和開發等Python任務;

4. 研究和運營資料管理;

5. 其他投研交易相關的開發任務。