大資料平臺架構師崗位職責（精選18篇）

大資料平臺架構師崗位職責 篇1

1. 負責大資料專案整體架構規劃，包括應用架構、技術架構、物理架構和資料架構等;

2. 負責指導工程師進行技術驗證與實現，核心技術問題的攻關，解決專案開發過程中的技術難題;

3. 負責專案對外技術溝通，具有較強的溝通，表達和文件撰寫能力;

4. 根據公司專案和業務發展特點，負責研究相關大資料前沿技術;

5. 推動技術能力的沉澱。

大資料平臺架構師崗位職責 篇2

1、負責大資料平臺資源規劃、許可權控制、運維架構設計，為各產品業務提供穩定、高效、安全的執行環境;

2、負責實時，離線資料分析處理及實時平臺的建設和搭建

3、熟悉 Flink 流式計算引擎的使用以及原始碼原理，並且有相關的流式處理平臺的經驗。

4、Java基礎紮實，熟練掌握垃圾回收，網路，多執行緒程式設計，瞭解 python 或 scala

5、負責大資料平臺技術架構、資料架構的分析與設計;

大資料平臺架構師崗位職責 篇3

1. 負責數瀾大資料平臺的架構設計和研發，建立資料生態服務，解決海量資料面臨的挑戰;

2. 管理和優化Hadoop、Spark等叢集，計算作業的調優，保證叢集和平臺的高效和穩定;

3. 負責Hadoop、Spark、Flink的功能、效能和擴充套件，解決並實現業務需求;

4. 負責大資料產品的自動化、離線與實時計算、即席計算、資料質量、資料安全、機器學習等平臺的設計和開發;

5. 調研和把握當前的最新技術，將其中的先進技術引入到自己的平臺中，改善產品，提升競爭力;

大資料平臺架構師崗位職責 篇4

1、建設大資料平臺，主要技術為k8s, docker;

2、跟進開源社群的更新，閱讀文件，驗證feature;

3、閱讀容器生態圈各元件的開源專案程式碼，開發新功能;

4、持續提升平臺的效能和穩定性。

大資料平臺架構師崗位職責 篇5

1、負責公司大資料處理框架研發工作，設計與開發分散式儲存、資料處理與分析架構。

2、負責大資料平臺與產品和相關技術的追蹤及研究。

3、負責大資料的處理工作，以及業務資料提取、載入、轉換處理流程的開發和優化。

4、利用大資料平臺工具對資料維護。

5、負責相關專案的技術支援和服務。

6、持續對系統的技術架構進行改進和優化。

大資料平臺架構師崗位職責 篇6

職責：

1、搭建基於Hadoop/Spark的資料探勘體系和大資料分析系統架構;

2、研究大資料領域前沿資料探勘技術，並引入相應技術在資料中心的使用;

3、進行大資料系統框架設計、模型演算法開發;

4、負責大型資料探勘專案方案制定、專案實施落地及優化等 ;

5、開展資料爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域資料探勘工作;

任職資格：

1、本科以上學歷(持有學士學位)(985，211優先)，計算機相關專業，五年工作經驗;

2、二年以上資料探勘專案經驗，完整參與過資料探勘大資料平臺的架構開發過程，具備網際網路行業背景優先;

3、精通分散式計算框架(hadoop、spark、Storm等)及相關經驗，熟練掌握Hive/SQL，Python，熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);

4、瞭解傳統的BI/DW 理論，能結合傳統BI實踐設計大資料平臺;

5、熟悉常用機器學習演算法(如分類、迴歸、聚類、關聯規則等)及其原理，具備應用場景經驗，如使用者畫像、商品關聯度分析、輿情分析;

6、熟悉主資料、元資料、資料質量、和資料建模等資料治理相關的體系和方法;

7、具備較強的邏輯思維能力、資料敏感度，擅於利用資料發現問題及解決問題;

大資料平臺架構師崗位職責 篇7

職責：

1、負責DMP技術架構設計與構建，根據業務規劃及技術規劃制定應用架構方案;

2、負責設計構建DMP資料採集、儲存及分析框架，設計資料處理的技術流程和規範;

3、負責核心功能的架構與程式碼模板編寫，開發與維護系統公用核心模組;

4、負責基於大資料技術的海量資料的自動化分析處理和統計工作。

崗位要求：

1、計算機或相關專業本科以上學歷，三年以上的開發經驗，二年以上大資料相關軟體架構的實際經驗;

2、精通大資料處理技術，熟悉Hadoop/Storm技術體系，有Hadoop、Hive、Hbase專案經驗;

3、具有較強的架構能力，具有分散式計算、實時計算、資料倉庫、資料探勘系統的架構經歷優先;

4、對資料敏感，洞察力強，瞭解國內外廣告發展趨勢;

5.、擅長系統分析與設計，精通常用的設計模式，擅長效能調優;

6、熟悉DMP/RTB技術原理，瞭解使用者的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。

大資料平臺架構師崗位職責 篇8

職責：

負責公司大資料產品架構的設計與實現;

配合大資料產品經理完成產品的快速研發與交付;

負責大資料產品架構的持續優化設計;

負責大資料產品核心元件設計;

負責大資料相關資料架構規劃、資料建模、資料庫設計以及大資料產品研發工作;

為應用開發團隊提供技術支撐。

及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;

完成上級領導交辦的其它各項工作。

任職資格：

985/211本科及以上學歷，3年以上的大資料開發經驗、

2年以上大資料架構設計經驗;

豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等程式語言;具備深厚的分散式系統或資料庫系統的理論基礎，熟悉分散式計算系統的工作機制，具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

熟悉整個大資料的完整處理流程(資料的採集、清洗、預處理、儲存、分析挖掘、機器學習和資料視覺化);

精通各種大資料相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

有資料探勘、機器學習相關應用或研究背景;

溝通能力較好，積極主動意識較強，責任心較強。

具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善於解決問題和分析問題;

良好的團隊合作精神，較強的溝通能力和學習能力 ;

大資料平臺架構師崗位職責 篇9

職責:

1、對業務需求深入分析，從而進行大資料平臺核心應用的架構設計、開發和技術支援;

2、規劃業務應用系統和基礎平臺的技術架構，參與需求分析、建模、架構設計、技術決策以及詳細設計;

3、把握複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

4、帶領團隊攻克例如大資料量、高併發、高穩定性等帶來的各種挑戰及技術難關;

5、在大資料平臺建設路線圖指導下，進行架構實施和交付物投遞，同時確保研發質量和方向的準確性;

6、進行團隊技術的培訓和梯隊建設崗位要求;

任職條件:

1、本科或以上學歷，計算機相關專業，8年以上研發經驗，3年以上大資料平臺相關工作經驗;

2、精通Java開發技術，熟悉Shell、Scala語言和PYTHON優先;

3、程式設計基礎紮實，熟悉I/O、多執行緒、叢集等基礎框架和原理，熟悉分散式、快取、訊息等機制;

4、熟悉常用設計模式，程式碼評審規則，單元測試，持續整合;

5、熟悉AWS雲服務或阿里雲服務;

6、熟悉容器技術原理、生態系統，熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源排程系統、分散式應用生命週期。

大資料平臺架構師崗位職責 篇10

職責：

1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

3. 制定專案/資料倉庫設計及實現規範，指導設計研發和部署;

4. 協助策略和演算法團隊工作，保障資料探勘建模和工程化;

5. 深入研究大資料相關技術和產品，跟進業界先進技術。

任職要求：

1. 全日制本科及以上學歷，5年以上軟體和分散式系統研發經驗，3年以上大資料系統架構經驗;

2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

3. 具備Java/C++/Scala等開發經驗，熟悉資料探勘和分析的策略與演算法;

4. 具備良好的系統分析能力、故障診斷能力;

5. 有大資料策略、演算法、視覺化經驗優先;

6、211/985 重點學校畢業優先。

大資料平臺架構師崗位職責 篇11

職責：

1、負責公司的大資料處理框架的研發設計工作，梳理可實現方案和技術規範;

2、開發、完善公司大資料平臺;參與公司離線、實時大資料處理系統的設計、開發、測試及多個業務模組的自動化整合;

3、負責業務平臺數據統計分析模組的設計與規劃;

4、負責公司產品研發過程中的資料及儲存設計;

5、帶領和培養團隊完成組織分解的目標;

任職要求：

1、統招本科及以上學歷，計算機、軟體工程相關專業，至少8年以上工作經驗，5年以上大資料開發經驗;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

3、熟悉資料倉庫，資料演算法，分散式計算技術理論，具有大資料整體系統架構設計經驗;

4、熟悉Linux系統，熟練使用shell/perl/python指令碼處理問題;

5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;

6、能夠組織專案開發組協同工作，包括團隊溝通、計劃、開發環境管理等

大資料平臺架構師崗位職責 篇12

職責：

1、負責spark, hadoop, flink等開發和優化。

2、參與前期需求溝通和分析，以產品化開發的思維，完成需求分解和資料架構設計。

3、與研發和資料科學家合作保證產品定義清晰，按時完成產品上線。

4、能夠洞察市場狀況，與各部門合作轉化為基於大資料探勘的新策略或方案.

5、主動創造和發掘新的基於大資料探勘產品商業模式.

任職要求：

1、全日制本科及以上學歷，計算機軟體相關專業，5年以上開發經驗，3年以上架構經驗

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分散式資料儲存和分散式計算平臺原理，流式計算開發，有開源二次開發經驗者優先。

3、精通大資料探勘、機器學習.熟練掌握Java/Perl/Python至少一種程式語言。

4、具有資料探勘和分析、機器學習等專案實施相關經驗者優先;

5、良好的跨部門溝通合作能力，解決不同觀點能力並取得結果。具備敏銳的網際網路產品理解力，學習能力和邏輯思維能力強;

6、較強的自我驅動力、推動和協調能力，強烈的責任心和團隊合作精神;

大資料平臺架構師崗位職責 篇13

職責：

1.負責公司大資料底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大資料戰略規劃;

2.負責統一資料平臺專案的整體評估、設計、架構及關鍵模組的開發，不斷提升系統的穩定性和效率;

3.負責架構優化及系統關鍵模組的設計開發，協助團隊解決開發過程中的技術難題;

4.建立良好的公司內外的業界技術影響力;有效輔導團隊，提升資料研發能力;

任職要求：

1.從事大資料專案相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

2.擁有一定的演算法和資料結構基礎;有很強的資料設計抽象能力，善於從複雜的資料問題中找到關鍵路徑;

3.熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於：hadoop、storm、spark、等;

4. 良好的邏輯思維能力，良好的業務解讀能力，懂電力或通訊業務優先;

5.具有鑽研精神，樂於接受挑戰;

大資料平臺架構師崗位職責 篇14

職責：

1.負責過多個大資料專案的架構;

2.精通Hadoop、Spark, HBase等主流的大資料平臺、精通各元件優化設計原理;

3.精通大資料實時流式處理的設計和應用;

3.熟悉大資料平臺調優，具備大資料生產平臺調優經驗;

4.金融行業，運營商行業大資料架構經驗更優;

5.研究大資料技術的最新發展，並引入到公司技術架構;

6.指導大資料工程師的日常工作，並培養技術骨幹。

任職資格：

1.計算機相關專業本科或以上學歷;

2.具有5年以上大資料相關開發經驗;

3.具有2年以上帶團隊經驗

4.對Hadoop/Hive/Spark/HBase/ES等等大資料常用技術有深刻理解，能夠帶領團隊進行技術攻堅，完成中介軟體的實施、改造、調優;

5.精通海量資料和實時資料的分析處理，能對線上的資料處理效能問題做調優;

6.精通資料倉庫以及維度建模原理，有大型資料倉庫建設經驗;

7.精通關係型資料庫和NoSQL資料庫的使用，熟悉相關理論;

8.溝通順暢，重點突出，高效。

大資料平臺架構師崗位職責 篇15

職責：

1、負責大資料基礎平臺的整體規劃和架構設計，參與需求分析、技術決策以及詳細設計;

2、為現有大資料叢集Hadoop、hive平臺提供效能調優、架構優化重組，解決系統中的關鍵問題和技術難題;

3、把握基礎業務複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

4、持續挑戰新的技術方向，攻克大資料量，高併發，穩定性等各種技術難點。

任職資格:

1、計算機或相關專業本科及以上學歷;

2、5年以上hadoop的應用開發經驗，5年以上資料倉庫開發實踐經驗，至少一個企業級資料倉庫專案開發經驗或者大資料處理專案經驗;

3、良好的程式設計開發能力，精通PHP及其他開發語言;

4、熟悉mysql等資料庫經驗，具備優秀的SQL編寫、調優能力;

5、熟練掌握Linux常規命令與工具，精通shell, perl, python等指令碼語言至少一種;

6、軟體基礎理論知識紮實，具有良好的資料結構、演算法功底;

7、對新技術敏感，學習能力強，樂於接受挑戰，具有良好的團隊合作精神;

大資料平臺架構師崗位職責 篇16

職責：

1. 負責產品級業務系統架構(如業務資料物件識別，資料實體、資料屬性分析，資料標準、端到端資料流等)的設計與優化。協助推動跨領域重大資料問題的分析、定位、解決方案設計，從架構設計上保障系統高效能、高可用性、高安全性、高時效性、分散式擴充套件性，並對系統質量負責。

2.負責雲資料平臺的架構設計和資料處理體系的優化，推動雲資料平臺建設和持續升級，並制定雲資料平臺呼叫約束和規範。

3. 結合行業應用的需求負責資料流各環節上的方案選型，主導雲資料平臺建設，參與核心程式碼編寫、審查;資料的統計邏輯迴歸演算法、實時互動分析;資料視覺化方案等等的選型、部署、整合融合等等。

4. 對雲資料平臺的關注業內技術動態，持續推動平臺技術架構升級，以滿足公司不同階段的資料需求。

任職要求：

1. 熟悉雲端計算基礎平臺，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基礎環境，熟悉控制、計算、儲存和網路;

2. 掌握大型分散式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分散式快取、NoSQL、資料庫垂直及水平擴容;熟悉大資料應用端到端的相關高效能產品。

3. 精通 Java，Python，Shell 程式語言，精通 SQL、NoSQL 等資料庫增刪改查的操作優化;

4. PB 級別實戰資料平臺和生產環境的實施、開發和管理經驗;

5. 熟悉 Docker 等容器的編排封裝，熟悉微服務的開發和日常排程;

6.計算機、軟體、電子資訊及通訊等相關專業本科以上學歷，5 年以上軟體工程開發經驗，2 年以上大資料架構師工作經驗。

大資料平臺架構師崗位職責 篇17

職責：

1、大資料平臺架構規劃與設計;

2、負責大資料平臺技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大資料應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

4、負責資料基礎架構和資料處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大資料底層平臺的支援和保證;

5、培養和建立大資料團隊，對團隊進行技術指導。

任職要求：

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大資料專案或產品架構經驗);

2、精通Java，J2EE 相關技術，精通常見開源框架的架構，精通關係資料庫系統(Oracle MySQL等)和noSQL資料儲存系統的原理和架構;

3、精通SQL和Mapreduce、Spark處理方法;

4、精通大資料系統架構，熟悉業界資料倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

5、對大資料體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大資料技術，並能設計相關資料模型;

6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫專案解決方案、專案技術文件;

7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

8、機器學習技術、資料探勘、人工智慧經驗豐富者優先考慮;

9、 具有能源電力行業工作經驗者優先。

大資料平臺架構師崗位職責 篇18

職責

1、負責企業級大資料平臺、資料雲服務的設計與開發;

2、基於大資料生態圈，支援智慧交通等大資料場景應用實現;

3、負責公司大資料產品的設計、封裝與落地;

4、負責學習大資料相關演算法研究、實現與應用

任職要求

1、統招本科及以上學歷;2年以上智慧城市建設或交通行業資訊化相關工作經驗，3年以上大資料架構設計、開發經驗;

2、精通大資料生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備原始碼級問題解決和叢集優化改造能力;

3、熟悉常用程式語言，包括Java、Python、Scala等;

4、具有很強的技術研發和創新能力，能有效把握技術發展方向，有較強的執行能力、學習能力、溝通能力、適應能力，責任心強;