網站首頁 工作範例 辦公範例 個人範例 黨團範例 簡歷範例 學生範例 其他範例 專題範例
當前位置:三優範文網 > 文祕 > 崗位職責

大資料平臺架構師崗位職責(精選23篇)

欄目: 崗位職責 / 釋出於: / 人氣:1.75W

大資料平臺架構師崗位職責 篇1

1、建設大資料平臺,主要技術為k8s, docker;

大資料平臺架構師崗位職責(精選23篇)

2、跟進開源社群的更新,閱讀文件,驗證feature;

3、閱讀容器生態圈各元件的開源專案程式碼,開發新功能;

4、持續提升平臺的效能和穩定性。

大資料平臺架構師崗位職責 篇2

1. 負責大資料專案整體架構規劃,包括應用架構、技術架構、物理架構和資料架構等;

2. 負責指導工程師進行技術驗證與實現,核心技術問題的攻關,解決專案開發過程中的技術難題;

3. 負責專案對外技術溝通,具有較強的溝通,表達和文件撰寫能力;

4. 根據公司專案和業務發展特點,負責研究相關大資料前沿技術;

5. 推動技術能力的沉澱。

大資料平臺架構師崗位職責 篇3

1、負責公司大資料處理框架研發工作,設計與開發分散式儲存、資料處理與分析架構。

2、負責大資料平臺與產品和相關技術的追蹤及研究。

3、負責大資料的處理工作,以及業務資料提取、載入、轉換處理流程的開發和優化。

4、利用大資料平臺工具對資料維護。

5、負責相關專案的技術支援和服務。

6、持續對系統的技術架構進行改進和優化。

大資料平臺架構師崗位職責 篇4

1. 負責數瀾大資料平臺的架構設計和研發,建立資料生態服務,解決海量資料面臨的挑戰;

2. 管理和優化Hadoop、Spark等叢集,計算作業的調優,保證叢集和平臺的高效和穩定;

3. 負責Hadoop、Spark、Flink的功能、效能和擴充套件,解決並實現業務需求;

4. 負責大資料產品的自動化、離線與實時計算、即席計算、資料質量、資料安全、機器學習等平臺的設計和開發;

5. 調研和把握當前的最新技術,將其中的先進技術引入到自己的平臺中,改善產品,提升競爭力;

大資料平臺架構師崗位職責 篇5

1、負責大資料平臺資源規劃、許可權控制、運維架構設計,為各產品業務提供穩定、高效、安全的執行環境;

2、負責實時,離線資料分析處理及實時平臺的建設和搭建

3、熟悉 Flink 流式計算引擎的使用以及原始碼原理,並且有相關的流式處理平臺的經驗。

4、Java基礎紮實,熟練掌握垃圾回收,網路,多執行緒程式設計,瞭解 python 或 scala

5、負責大資料平臺技術架構、資料架構的分析與設計;

大資料平臺架構師崗位職責 篇6

職責

1、負責大資料架構設計,包括定義資料的儲存、整合(ETL)、應用,支撐業務運營和資料分析類需求實現;

2、制定資料治理領域的資料體系化管理措施,包括元資料設計、資料標準、資料質量、資料處理、資料安全等工作,確保資料可信與安全;

3、基於行業資料積累,滿足業務的資料探勘需求,實現從資料到資產的轉變,根據目標行業建立具有前瞻性的資料模型;

4、對各產品的資料安全負責,主導制定和實施資料庫系統安全策略,保證整體方案資料安全;

崗位要求

業務技能要求:

1、深入理解雲化、資料倉庫,在參與過的系統設計中,必須涉及這兩項關鍵技術;

n2、精通或者熟悉Hadoop體系架構,以及HDFS/HBase/Hive/MapReduce/Spark等技術,瞭解體系架構各元件的優缺點,有直接的產品設計與開發、部署、調優的經驗;

3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜尋引擎(Solr/ElasticSearch)的使用及開發,瞭解各資料庫優缺點, 熟悉與架構設計相關的資料儲存、效能調優等相關領域知識,有相關專案經驗尤佳;

4、熟悉業界常用的資料採集、整合、資料儲存、計算、資料模型、資料分析的技術方案,具有資料分析或資料探勘相關經驗者優先;

n5、熟悉資料治理相關流程,包括資料接入、資料處理、資料治理、資料組織、資料服務等。

專業知識要求:

1、具備資料治理的知識與體系方案,包含政策、組織、角色、流程、規範等,以及規劃相應的支撐方案。瞭解業界的資料管理方法論;

2、具備資料用例設計和開發能力。能夠基於業務相關資料進行業務需求分析和痛點識別,將業務需求轉化為資料的需求,完成資料用例的設計和開發;

3、精通海量資料(日增量百億)級別資料倉庫、資料集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。

大資料平臺架構師崗位職責 篇7

職責:

1.負責過多個大資料專案的架構;

2.精通Hadoop、Spark, HBase等主流的大資料平臺、精通各元件優化設計原理;

3.精通大資料實時流式處理的設計和應用;

3.熟悉大資料平臺調優,具備大資料生產平臺調優經驗;

4.金融行業,運營商行業大資料架構經驗更優;

5.研究大資料技術的最新發展,並引入到公司技術架構;

6.指導大資料工程師的日常工作,並培養技術骨幹。

任職資格:

1.計算機相關專業本科或以上學歷;

2.具有5年以上大資料相關開發經驗;

3.具有2年以上帶團隊經驗

4.對Hadoop/Hive/Spark/HBase/ES等等大資料常用技術有深刻理解,能夠帶領團隊進行技術攻堅,完成中介軟體的實施、改造、調優;

5.精通海量資料和實時資料的分析處理,能對線上的資料處理效能問題做調優;

6.精通資料倉庫以及維度建模原理,有大型資料倉庫建設經驗;

7.精通關係型資料庫和NoSQL資料庫的使用,熟悉相關理論;

8.溝通順暢,重點突出,高效。

大資料平臺架構師崗位職責 篇8

職責:

1、資料分析軟體平臺架構搭建

2、負責深度學習核心框架或高效能後臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟體實現、效能優化;

3、指導開發人員開發,並解決系統出現的問題,理解物業需求;

4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;

任職要求:

1、碩士以上,計算機或先關專業;

2、5年左右軟體開發經驗,含3年以上系統分析、設計經驗,有大型軟體專案大型軟體專案;有中大型網際網路企業資料庫架構設計及管理經驗,

3、 具備良好的元件級建模能力,熟悉HTTP、TCP等協議

4、熟練使用UML進行軟體架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.

5、精通至少一種程式語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署

6、深入理解資料庫、資料倉庫、大資料、分散式體系架構和關鍵技術

大資料平臺架構師崗位職責 篇9

職責:

1、對業務需求深入分析,從而進行大資料平臺核心應用的架構設計、開發和技術支援;

2、規劃業務應用系統和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;

3、把握複雜系統的設計,確保系統的架構質量,編寫核心部分程式碼;

4、帶領團隊攻克例如大資料量、高併發、高穩定性等帶來的各種挑戰及技術難關;

5、在大資料平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發質量和方向的準確性;

6、進行團隊技術的培訓和梯隊建設崗位要求;

任職條件:

1、本科或以上學歷,計算機相關專業,8年以上研發經驗,3年以上大資料平臺相關工作經驗;

2、精通Java開發技術,熟悉Shell、Scala語言和PYTHON優先;

3、程式設計基礎紮實,熟悉I/O、多執行緒、叢集等基礎框架和原理,熟悉分散式、快取、訊息等機制;

4、熟悉常用設計模式,程式碼評審規則,單元測試,持續整合;

5、熟悉AWS雲服務或阿里雲服務;

6、熟悉容器技術原理、生態系統,熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源排程系統、分散式應用生命週期。

大資料平臺架構師崗位職責 篇10

職責:

1、負責公司大資料平臺架構的技術選型和技術難點攻關工作;

2、依據行業資料現狀和客戶需求,完成行業大資料的特定技術方案設計與撰寫;

3、負責研究跟進大資料架構領域新興技術並在公司內部進行分享;

4、參與公司大資料專案的技術交流、解決方案定製以及專案的招投標工作;

5、參與公司大資料專案前期的架構設計工作;

任職要求:

1、計算機及相關專業本科以上,5年以上資料類專案(資料倉庫、商務智慧)實施經驗,至少2年以上大資料架構設計和開發經驗,至少主導過一個大資料平臺專案架構設計;

2、精通大資料生態圈的技術,包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備資料統計查詢效能優化能力。熟悉星環大資料產品線及有過產品專案實施經驗者優先;

3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;

4、精通ORACLE、DB2、mySql等主流關係型資料庫,熟悉資料倉庫建設思路和資料分層架構思想;

5. 熟練掌握java、R、python等1-2門資料探勘開發語言;

6. 熟悉雲服務平臺及微服務相關架構思想和技術路線,熟悉阿里雲或騰訊雲產品者優先;

7、有菸草或製造行業大資料解決方案售前經驗者優先;

8、能適應售前支援和專案實施需要的短期出差;

大資料平臺架構師崗位職責 篇11

職責:

1.負責公司大資料底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大資料戰略規劃;

2.負責統一資料平臺專案的整體評估、設計、架構及關鍵模組的開發,不斷提升系統的穩定性和效率;

3.負責架構優化及系統關鍵模組的設計開發,協助團隊解決開發過程中的技術難題;

4.建立良好的公司內外的業界技術影響力;有效輔導團隊,提升資料研發能力;

任職要求:

1.從事大資料專案相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

2.擁有一定的演算法和資料結構基礎;有很強的資料設計抽象能力,善於從複雜的資料問題中找到關鍵路徑;

3.熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於:hadoop、storm、spark、等;

4. 良好的邏輯思維能力,良好的業務解讀能力,懂電力或通訊業務優先;

5.具有鑽研精神,樂於接受挑戰;

大資料平臺架構師崗位職責 篇12

職責:

1.能夠帶領技術人員基於hadoop平臺進行海量資料應用系統開發;

2.負責結構化和非結構化資料的解析和清洗,海量資料查詢和報表展現;

3.負責超大規模資料平臺的搭建、維護和優化;

4.負責大資料採集、儲存框架研究,參與線上或離線資料儲存模型設計;

5.負責大資料平臺新技術的開發使用和效能優化,測試。

任職資格:

1.計算機相關專業本科及以上學歷;

2. 熟悉hadoop相關各種開源專案,比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);

3.兩年以上熟練編寫mapreduce程式碼經驗,有三年以上網路日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;

4.兩年以上海量資料儲存的安裝部署、優化、二次開發經驗,對大規模資料儲存、傳輸、處理等有豐富的經驗;

5.在資料探勘、資料密集型處理、分散式計算、網格計算領域有深入理論基礎;

6.具有較強的文件撰寫能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。

大資料平臺架構師崗位職責 篇13

職責:

1、大資料平臺的規劃、設計、實施,並優化資料庫;

2、對資料庫進行管理,負責資料庫應用系統的運營及監控;

3、對資料庫效能分析與調優,排錯,保證資料正確率;

4、配合其他部門進行的資料處理、查詢,統計和分析工作;

5、完成公司下達的專案開發任務。

任職要求:

1、計算機及相關專業本科以上學歷,5年以上軟體開發從業經驗,其中包括至少2年以上的大資料開發工作經驗;

2、熟悉hive,hadoop/spark,hbase等大資料相關技術架構,有管理或優化大型分散式叢集經驗;

3、熟悉linux基本命令,精通SQL指令碼的編寫,有豐富的資料庫管理、運維調優經驗;

4、熟悉C++、Java、C#等開發語言;

5、有網際網路電商行業大資料分析處理和大型資料倉庫的設計和實施經驗;

6、有分散式系統分析及架構設計經驗和大型計算叢集的基礎設施開發維護經驗;

7、快速處理系統突發事件的能力,較強的學習和創新能力;

8、良好的溝通能力和團隊合作精神。

大資料平臺架構師崗位職責 篇14

職責:

1、負責規劃大資料平臺及應用產品的需求和技術方案設計;

2、負責資料對接和對外服務設計、開發和維護,並能保證質量和效能;

3、負責基於大資料平臺的應用設計、開發和維護;

4、能從系統全域性和各子系統的角度思考可能存在的問題,並提出改進方案建議;

任職要求:

1、大學本科6年以上工作經驗,計算機相關專業。

2、至少4年以上的Java開發經驗,3年以上大資料應用系統的開發和設計經驗。

3、熟悉Hadoop生態圈技術體系, 對離線計算、記憶體計算和流式計算均有深刻理解, 如Hadoop、Storm、Spark三個中的任意二個, 能進行平臺和元件優化。

4、精通Hive、HBase倉庫設計,深刻理解MR執行原理和機制,能進行以提供高任務執行效率的優化。

5、精通Java開發,熟悉JVM調優, 對GC有深刻理解。

6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術, 能進行hbase可靠性診斷和維護。

7、快速研究和學習技術能力。

大資料平臺架構師崗位職責 篇15

職責:

1)負責公司軟體產品整體架構的設計和關鍵功能實現

2)負責公司架構長期看護以及優化;

3)負責軟體部門各模組間的協調配合;

4)提高鞏固軟體程式碼質量;

5)負責大資料流式框架的設計、優化及部署;

6)規劃研發部門員工的技術發展路線並提供必要的幫助和指導

任職資格:

1)本科及以上學歷,計算機相關專業,5年以上工作經驗;

2)頻繁換工作,比如一年一個公司,請繞路;

3)3年以上產品架構經驗,主導過產品的成功上線;

4)對底層裝置通訊協議,B/S系統,手機APP開發等都有一定的瞭解;

5)對各種主流語言C#JavaPathon有一定的瞭解

5)精通各種大資料架構,並深入研究過其中一種,有stormkafka等流式實時處理經驗為佳

6)能夠承擔較強的工作壓力,有良好的自我驅動能力和責任感;

7)具備優秀的邏輯思維能力、表達能力、溝通協調能力。

大資料平臺架構師崗位職責 篇16

職責:

1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

3. 制定專案/資料倉庫設計及實現規範,指導設計研發和部署;

4. 協助策略和演算法團隊工作,保障資料探勘建模和工程化;

5. 深入研究大資料相關技術和產品,跟進業界先進技術;

任職要求:

1. 全日制本科及以上學歷,5年以上軟體和分散式系統研發經驗,3年以上大資料系統架構經驗;

2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

3. 具備良好的系統分析能力、故障診斷能力;

4 有大資料策略、演算法、視覺化經驗優先。

大資料平臺架構師崗位職責 篇17

職責:

(1) 負責公司大資料平臺搭建,相關的設計和技術開發工作,負責大資料儲存系統、分散式計算系統、資料整合、挖掘演算法等的設計、研發以及維護、優化工作;

(2) 通過資料分析技術,挖掘有利於營銷中各業務場景的變數或規則類標籤,以提升模型效果,為文旅、教育業務提供數學模型理論及程式設計支撐;

(3) 對接溝通業務系統研發團隊和產品部門,提供資料驅動方面的專業諮詢方案,並對業務的大資料應用場景提出建設性意見;

(4) 配合部門領導進行專案需求分析、設計開發工作。

任職要求:

(1) 計算機、統計學,數學等相關專業本科以上學歷,5年以上大資料或文旅、教育資料產品設計開發經驗,高效高質量產出需求和技術文件;

(2) 精通Hadoop,熟悉大資料生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規模叢集架構、開發及運維經驗;熟悉HDFS/MapReduce等;

(3) 熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行資料分析;

(4) 熟悉大資料探勘、視覺化分析,各種BI演算法和產品等,在計算廣告、搜尋引擎、推薦系統、使用者畫像等有一個或多個演算法領域的研發經驗,能夠運用資料作為產品解決業務方運營及決策問題;

(5) 有網際網路行業工作經驗者優先,有海量資料的機器學習演算法實踐經驗優先;

(6) 工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。

大資料平臺架構師崗位職責 篇18

職責:

負責公司大資料產品架構的設計與實現;

配合大資料產品經理完成產品的快速研發與交付;

負責大資料產品架構的持續優化設計;

負責大資料產品核心元件設計;

負責大資料相關資料架構規劃、資料建模、資料庫設計以及大資料產品研發工作;

為應用開發團隊提供技術支撐。

及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;

完成上級領導交辦的其它各項工作。

任職資格:

985/211本科及以上學歷,3年以上的大資料開發經驗、

2年以上大資料架構設計經驗;

豐富的JAVA研發經驗,精通JAVA,熟悉Python Scala等程式語言;具備深厚的分散式系統或資料庫系統的理論基礎,熟悉分散式計算系統的工作機制,具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

熟悉整個大資料的完整處理流程(資料的採集、清洗、預處理、儲存、分析挖掘、機器學習和資料視覺化);

精通各種大資料相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有資料探勘、機器學習相關應用或研究背景;

溝通能力較好,積極主動意識較強,責任心較強。

具備優秀的邏輯思維能力,對解決挑戰性問題充滿熱情,善於解決問題和分析問題;

良好的團隊合作精神,較強的溝通能力和學習能力 ;

大資料平臺架構師崗位職責 篇19

職責:

1. 規劃設計大資料平臺整體架構,規劃各種元件,並且指導技術團隊完成相關係統驗證、安裝、部署、配置;

2. 負責制定大資料平臺技術規範和介面規範,指導研發團隊按照規範進行系統開發;

3. 配合商務人員完成售前技術支援工作;

4. 完成其他與資料應用有關的技術工作;

任職要求:

1. 計算機相關專業本科學歷,5年以上工作經驗;

2. 對大資料技術棧有非常深刻的瞭解;具備架構設計的實際經驗;

3. 對資訊保安架構設計及實施有一定的經驗;

4. 熟悉Linux、Windows等作業系統的安裝配置;

5. 熟悉網際網路應用的安裝配置;熟悉常見大資料技術棧元件的安裝配置;熟悉Visio等繪圖工具的使用;

6. 有衛生資訊化建設經驗者優先;有容器安裝部署經驗者優先。

大資料平臺架構師崗位職責 篇20

職責:

1. 負責設計企業級大資料平臺的整體架構,從技術層面制定清晰的大資料產品與系統技術架構,並負責實現關鍵技術和產品。

2. 負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等,帶領團隊完成有質變的技術解決方案。

3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。

4. 負責研究院對外專案合作協調與支援,編寫專案建設方案及後期專案建設支援。

任職要求:

1. 碩士及以上學歷,計算機相關專業。

2. JAVA基礎紮實,不少於8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。

3. 不少於4年大資料的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。

4. 掌握分散式系統原理,對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。

5. 熟悉分散式系統的監控、運維、故障恢復,高可用原理和設計理念。

6. 演算法基礎紮實,熟悉常見的資料結構,掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統, 網路, 記憶體和儲存等方面知識。

7. 必須要有千萬級別的專案管理經驗,包括但不限於前期需求溝通,建設方案編寫,中期專案實施,進度彙報,後期專案維護。

大資料平臺架構師崗位職責 篇21

職責:

1、 基於公司大資料基礎和資料資產積累,負責大資料應用整體技術架構的設計、優化,建設大資料能力開放平臺;負責大資料應用產品的架構設計、技術把控工作。

2、 負責制定大資料應用系統的資料安全管控體系和資料使用規範。

3、 作為大資料技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。

4、 負責大資料系統研發專案任務規劃、整體進度、風險把控,有效協同團隊成員並組織跨團隊技術協作,保證專案質量與進度。

5、 負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。

任職資格:

1、 計算機、數學或相關專業本科以上學歷,5-20xx年工作經驗,具有大型系統的技術架構應用架構資料架構相關的實踐工作經驗。

2、 有分散式系統分析及架構設計經驗,熟悉基於計算叢集的軟體系統架構和實施經驗。

3、 掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入瞭解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、 掌握Mysql/Oracle等常用關係型資料庫,能夠對SQL進行優化。

5、 熟悉分散式系統基礎設施中常用的技術,如快取(Varnish、Memcache、Redis)、訊息中介軟體(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。

6、 熟悉Linux,Java基礎紮實,至少3-5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。

大資料平臺架構師崗位職責 篇22

職責:

1、負責公司的大資料平臺的數倉架構、系統架構設計;

2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

3、負責大資料研發組團隊管理;

4、負責帶領團隊完成輿情平臺的方案文件撰寫、迭代開發;

5、負責研發規範制定,研究行業前沿技術;

6、參與產品規劃及設計討論。

任職要求:

1、本科五年工作經驗及以上,有至少五年的大資料技術實踐經驗,有NLP或AI相關經驗;

2、有很強的架構設計能力和良好的表達能力;

3、有一定的專案管理及團隊管理能力;

4、精通Hadoop、Spark生態圈中的常用元件原理及應用;

6、理解媒體業務,精通資料倉庫的規劃和設計;

5、精通掌握Java或Python程式設計,有效能調優能力;

4、熟悉NLP演算法原理及應用;

6、對新生事物或者新技術有濃厚興趣,學習能力強。

大資料平臺架構師崗位職責 篇23

職責:

1. 負責產品級業務系統架構(如業務資料物件識別,資料實體、資料屬性分析,資料標準、端到端資料流等)的設計與優化。協助推動跨領域重大資料問題的分析、定位、解決方案設計,從架構設計上保障系統高效能、高可用性、高安全性、高時效性、分散式擴充套件性,並對系統質量負責。

2.負責雲資料平臺的架構設計和資料處理體系的優化,推動雲資料平臺建設和持續升級,並制定雲資料平臺呼叫約束和規範。

3. 結合行業應用的需求負責資料流各環節上的方案選型,主導雲資料平臺建設,參與核心程式碼編寫、審查;資料的統計邏輯迴歸演算法、實時互動分析;資料視覺化方案等等的選型、部署、整合融合等等。

4. 對雲資料平臺的關注業內技術動態,持續推動平臺技術架構升級,以滿足公司不同階段的資料需求。

任職要求:

1. 熟悉雲端計算基礎平臺,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基礎環境,熟悉控制、計算、儲存和網路;

2. 掌握大型分散式系統的技術棧,如:CDN、負載均衡、服務化/非同步化、分散式快取、NoSQL、資料庫垂直及水平擴容;熟悉大資料應用端到端的相關高效能產品。

3. 精通 Java,Python,Shell 程式語言,精通 SQL、NoSQL 等資料庫增刪改查的操作優化;

4. PB 級別實戰資料平臺和生產環境的實施、開發和管理經驗;

5. 熟悉 Docker 等容器的編排封裝,熟悉微服務的開發和日常排程;

6.計算機、軟體、電子資訊及通訊等相關專業本科以上學歷,5 年以上軟體工程開發經驗,2 年以上大資料架構師工作經驗。