大資料架構師崗位的職責內容（精選19篇）

大資料架構師崗位的職責內容 篇1

職責：

負責大資料平臺的規劃和搭建、完成大資料平臺的日常運營工作，為資料分析和展現提供支援;

對系統框架相關技術和業務進行培訓，並負責核心程式碼編寫，指導團隊開發及解決出現的系統問題;

參與基於大資料平臺的創新業務場景進行資料產品的架構設計，負責資料產品的研發交付;

負責處理大資料平臺的疑難問題，為資料團隊提供可靠的技術支援;

負責資料質量、穩定性等資料管理，資料內部共享融通的資料平臺，讓資料標準更規範、資料獲取更高效;

及時跟進大資料領域新技術並分享，提升團隊技術能力。

任職要求：

本科或以上學歷，5年以上資料系統建設經驗，3年以上大資料架構設計經驗;

精通 java，python，scala 等一種大資料開發語言，熟悉Hadoop生態圈，包括但不限於hdfs，hive，spark， 有豐富的大資料專案的實踐經驗;

具備創新精神，條理清晰，溝通表達和邏輯思維能力強;

熟悉資料倉庫的設計和開發，對資料架構有深入的瞭解和具備相關的專案實踐經驗優先;

對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;

有敏捷大資料和資料視覺化實踐經驗優先。

大資料架構師崗位的職責內容 篇2

職責：

1)負責大資料平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向)，基於業務場景設計最優的系統解決方案。

2)構架支援大數量級的資料的大資料平臺系統，及相關監控，拓展系統設計及實現。

3)利用Hadoop、Spark等大資料技術對海量資料進行處理，支援BI和資料科學(建模)的應用實現。

4)對現有系統的進行架構深入分析及系統優化，進一步提升系統的效能及資料處理能力。

任職資格

1)統招本科或以上學歷，計算機相關專業， 5年以上軟體開發經驗、3年以上大資料專案經驗。

2)具備較豐富的大資料平臺相關構建，維護及調優經驗，有大資料量級下的大資料集市相關經驗。

3)具備較豐富的基於Hadoop或Hive或Spark等大資料處理專案經驗，具備一定的資料探勘經驗。

4) 具有阿里雲的EMR(emapreduce)的經驗者優先考慮。

5)具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

6)優秀的團隊合作精神、誠實、勤奮、嚴謹，敢於接受挑戰。

7)機器學習技術、資料探勘經驗豐富者優先考慮。

大資料架構師崗位的職責內容 篇3

職責:

1、對業務需求深入分析，從而進行大資料平臺核心應用的架構設計、開發和技術支援;

2、規劃業務應用系統和基礎平臺的技術架構，參與需求分析、建模、架構設計、技術決策以及詳細設計;

3、把握複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

4、帶領團隊攻克例如大資料量、高併發、高穩定性等帶來的各種挑戰及技術難關;

5、在大資料平臺建設路線圖指導下，進行架構實施和交付物投遞，同時確保研發質量和方向的準確性;

6、進行團隊技術的培訓和梯隊建設崗位要求;

任職條件:

1、本科或以上學歷，計算機相關專業，8年以上研發經驗，3年以上大資料平臺相關工作經驗;

2、精通Java開發技術，熟悉Shell、Scala語言和PYTHON優先;

3、程式設計基礎紮實，熟悉I/O、多執行緒、叢集等基礎框架和原理，熟悉分散式、快取、訊息等機制;

4、熟悉常用設計模式，程式碼評審規則，單元測試，持續整合;

5、熟悉AWS雲服務或阿里雲服務;

6、熟悉容器技術原理、生態系統，熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源排程系統、分散式應用生命週期。

大資料架構師崗位的職責內容 篇4

職責:

1、 負責大資料倉庫、資料集市的規劃及實現，負責大資料中臺的設計和核心開發工作;

2、 負責資料基礎架構和資料處理體系的升級和優化，不斷提升系統的穩定性和效率，為公司的業務提供大資料底層平臺的支援和保證;

3、 大資料平臺的資料採集、處理、儲存以及挖掘分析的架構實現;

4、 研究未來資料模型和計算框架的創新與落地，包括但不限於以下領域：大規模資料實時化、研發模式敏捷化、資料計算框架輕量化、資料模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

任職資格:

1、 精通資料建模、資料標準管理、元資料管理、資料質量管理;

2、 有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

3、 熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於：hadoop、flink、spark等;

4、 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在資料業界有一定的影響力優先，具有風控經驗背景的人優先;

5、 具備獨立的深度思考能力，給出結合實際情況的較為理想的技術解決方案。

大資料架構師崗位的職責內容 篇5

職責：

1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

3. 制定專案/資料倉庫設計及實現規範，指導設計研發和部署;

4. 協助策略和演算法團隊工作，保障資料探勘建模和工程化;

5. 深入研究大資料相關技術和產品，跟進業界先進技術。

任職要求：

1. 全日制本科及以上學歷，5年以上軟體和分散式系統研發經驗，3年以上大資料系統架構經驗;

2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

3. 具備Java/C++/Scala等開發經驗，熟悉資料探勘和分析的策略與演算法;

4. 具備良好的系統分析能力、故障診斷能力;

5. 有大資料策略、演算法、視覺化經驗優先;

6、211/985 重點學校畢業優先。

大資料架構師崗位的職責內容 篇6

1、建設大資料平臺，主要技術為k8s, docker;

2、跟進開源社群的更新，閱讀文件，驗證feature;

3、閱讀容器生態圈各元件的開源專案程式碼，開發新功能;

4、持續提升平臺的效能和穩定性。

大資料架構師崗位的職責內容 篇7

職責：

1、負責大資料平臺及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標準化、埋點資料採集、處理及儲存，業務資料分佈儲存、流式/實時計算等應用層架構搭建及核心程式碼實現;

3、開發大資料平臺的核心程式碼，專案敏捷開發流程管理，完成系統除錯、整合與實施，對每個專案週期技術難題的解決，保證大資料產品的上線執行;

4、負責大資料平臺的架構優化，程式碼評審，並根據業務需求持續優化資料架構，保證產品的可靠性、穩定性;

5、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大資料相關技術和產品，跟進業界先進技術;

【任職要求】

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉網際網路移動端埋點方法(點選和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具備實際專案設計及開發經驗;

4、熟悉資料採集、資料清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix作業系統，能熟練使用shell/perl等指令碼語言，熟練掌握java/python/go/C++中一種或多種程式語言

6、具備一定的演算法能力，瞭解機器學習/深度學習演算法工具使用，有主流大資料計算元件開發和使用經驗者優先

7、熟悉大資料視覺化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大資料架構師崗位的職責內容 篇8

職責：

1、負責大資料基礎平臺的整體規劃和架構設計，參與需求分析、技術決策以及詳細設計;

2、為現有大資料叢集Hadoop、hive平臺提供效能調優、架構優化重組，解決系統中的關鍵問題和技術難題;

3、把握基礎業務複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

4、持續挑戰新的技術方向，攻克大資料量，高併發，穩定性等各種技術難點。

任職資格:

1、計算機或相關專業本科及以上學歷;

2、5年以上hadoop的應用開發經驗，5年以上資料倉庫開發實踐經驗，至少一個企業級資料倉庫專案開發經驗或者大資料處理專案經驗;

3、良好的程式設計開發能力，精通PHP及其他開發語言;

4、熟悉mysql等資料庫經驗，具備優秀的SQL編寫、調優能力;

5、熟練掌握Linux常規命令與工具，精通shell, perl, python等指令碼語言至少一種;

6、軟體基礎理論知識紮實，具有良好的資料結構、演算法功底;

7、對新技術敏感，學習能力強，樂於接受挑戰，具有良好的團隊合作精神;

大資料架構師崗位的職責內容 篇9

職責：

1. 負責設計企業級大資料平臺的整體架構，從技術層面制定清晰的大資料產品與系統技術架構，並負責實現關鍵技術和產品。

2. 負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等，帶領團隊完成有質變的技術解決方案。

3. 負責組織同事研究行內最前沿的技術發展方向，突破現有的技術難題。

4. 負責研究院對外專案合作協調與支援，編寫專案建設方案及後期專案建設支援。

任職要求：

1. 碩士及以上學歷，計算機相關專業。

2. JAVA基礎紮實,不少於8年的一線開發經驗，精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術，熟悉Maven或Ant.，熟悉Python語言開發加分。

3. 不少於4年大資料的直接研發經驗，精通Hadoop/Spark系統，有hands-on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。

4. 掌握分散式系統原理，對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。

5. 熟悉分散式系統的監控、運維、故障恢復，高可用原理和設計理念。

6. 演算法基礎紮實，熟悉常見的資料結構，掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統, 網路, 記憶體和儲存等方面知識。

7. 必須要有千萬級別的專案管理經驗，包括但不限於前期需求溝通，建設方案編寫，中期專案實施，進度彙報，後期專案維護。

大資料架構師崗位的職責內容 篇10

職責：

1.負責過多個大資料專案的架構;

2.精通Hadoop、Spark, HBase等主流的大資料平臺、精通各元件優化設計原理;

3.精通大資料實時流式處理的設計和應用;

3.熟悉大資料平臺調優，具備大資料生產平臺調優經驗;

4.金融行業，運營商行業大資料架構經驗更優;

5.研究大資料技術的最新發展，並引入到公司技術架構;

6.指導大資料工程師的日常工作，並培養技術骨幹。

任職資格：

1.計算機相關專業本科或以上學歷;

2.具有5年以上大資料相關開發經驗;

3.具有2年以上帶團隊經驗

4.對Hadoop/Hive/Spark/HBase/ES等等大資料常用技術有深刻理解，能夠帶領團隊進行技術攻堅，完成中介軟體的實施、改造、調優;

5.精通海量資料和實時資料的分析處理，能對線上的資料處理效能問題做調優;

6.精通資料倉庫以及維度建模原理，有大型資料倉庫建設經驗;

7.精通關係型資料庫和NoSQL資料庫的使用，熟悉相關理論;

8.溝通順暢，重點突出，高效。

大資料架構師崗位的職責內容 篇11

職責:

1、負責自然語音互動、IOT家電物聯控制、知識圖譜等相關模組和系統的開發;

2、負責掌握第三方介面的呼叫和功能實現，持續優化服務效能和容量，並保證產品的相容性和執行效率;

3、根據設計文件和需求說明完成程式碼編寫、除錯、單元測試與維護，確保專案進度和質量;

4、協助制定測試計劃，及時發現並修復BUG，實現服務端的效能優化。

任職資格:

1、大學本科3年以上工作經驗，計算機相關專業;

2、熟悉軟體專案開發流程，具有良好編碼風格及文件編寫能力;

3、熟悉Linux伺服器相關技術，能夠獨立完成伺服器部署，具有相關經驗;

4、熟悉Hadoop/Spark框架，JAVA基礎紮實;

5、熟練使用Mysql資料庫，瞭解MongoDB或neo4j等分散式資料庫;

6、熟悉SpringCloud,SSM,Docker,redis開發者優先;

7、熟悉前端(包括但不限於Html5、css、Angularjs、ajax、jquery等)開發技術優先;

8、瞭解Socket網路程式設計、MQTT等，有相應實踐經驗者優先;

9、有智慧語音語義、知識圖譜服務端開發經驗者優先。

大資料架構師崗位的職責內容 篇12

職責：

1. 負責大資料基礎和應用平臺的整體規劃和架構設計，參與需求分析，架構設計，詳細設計以及技術選型決策

2. 參與資料探勘和建模相關核心演算法的程式碼實現

3. 負責大資料演算法平臺的技術把關，效能調優，控制架構質量，解決專案技術難題;對研發專案和任務需求進行評估和方案設計、拆分任務並指導工程師完成開發

4. 帶領團隊提供並實現大資料演算法平臺上各項資料接入、資料探勘分析及資料視覺化的架構設計與能力，支援解決方案實施

5. 負責資料庫設計、應用架構設計、核心技術選型等工作

6. 協調解決開發中的技術問題、設計和監控運營指標，保障系統穩定執行

7. 培養，指導有能力的員工，指導工程師進行技術驗證實現，核心技術攻關，解決開發過程中的技術難題

任職要求：

1. 熟悉大資料和資料倉庫的系統架構設計方法

2. 熟練使用並理解HadoopSpark架構及生態。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分散式系統架構，有分散式實時、離線和機器學習平臺的架構和開發經驗，具備海量資料清洗、分析處理及儲存的實踐經驗

4. 熟練使用JAVA，具有大規模分散式系統調優經驗

5. 熟悉AI相關演算法，熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;

6. 具備良好的團隊合作精神，對工作充滿激情。

7. 熟悉FusionInsight平臺開發經驗者優先

大資料架構師崗位的職責內容 篇13

職責：

1、 基於公司大資料基礎和資料資產積累，負責大資料應用整體技術架構的設計、優化，建設大資料能力開放平臺;負責大資料應用產品的架構設計、技術把控工作。

2、 負責制定大資料應用系統的資料安全管控體系和資料使用規範。

3、 作為大資料技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、 負責大資料系統研發專案任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證專案質量與進度。

5、 負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、 計算機、數學或相關專業本科以上學歷，5-20xx年工作經驗，具有大型系統的技術架構應用架構資料架構相關的實踐工作經驗。

2、 有分散式系統分析及架構設計經驗，熟悉基於計算叢集的軟體系統架構和實施經驗。

3、 掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入瞭解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、 掌握Mysql/Oracle等常用關係型資料庫，能夠對SQL進行優化。

5、 熟悉分散式系統基礎設施中常用的技術，如快取(Varnish、Memcache、Redis)、訊息中介軟體(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。

6、 熟悉Linux，Java基礎紮實，至少3-5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大資料架構師崗位的職責內容 篇14

職責：

1、正確理解業務需求，對需求進行工作量評估;

2、參與專案相關的需求、設計、投產手冊等文件的編寫;

3、根據進度計劃，完成所承擔功能模組的設計、開發、單元測試、聯調測試;

4、配合測試組修復程式碼缺陷，確保功能實現與程式碼質量;

5、負責所承擔功能模組投產、部署，及上線後的日常維護;

6、完成專案經理或者架構師安排的其他工作;

任職資格：

1、本科以上學歷，計算機相關專業，兩年以上大資料開發經驗;

2、熟悉Linux 環境，掌握shell或python;

3、熟練使用hadoop，hive，HBase，YARN，kafka，spark等大資料開發元件;

4、精通 ETL，資料倉庫的設計和開發;

5、有大資料處理實戰經驗，熟悉整個大資料的完整處理流程，包括資料的採集、清洗、儲存;

6、較強的動手能力和學習能力，良好的溝通能力、團隊協調能力;

7、具有銀行、金融行業從業背景者優先。

大資料架構師崗位的職責內容 篇15

職責

1、負責大資料架構設計，包括定義資料的儲存、整合(ETL)、應用，支撐業務運營和資料分析類需求實現;

2、制定資料治理領域的資料體系化管理措施，包括元資料設計、資料標準、資料質量、資料處理、資料安全等工作，確保資料可信與安全;

3、基於行業資料積累，滿足業務的資料探勘需求，實現從資料到資產的轉變，根據目標行業建立具有前瞻性的資料模型;

4、對各產品的資料安全負責，主導制定和實施資料庫系統安全策略，保證整體方案資料安全;

崗位要求

業務技能要求：

1、深入理解雲化、資料倉庫，在參與過的系統設計中，必須涉及這兩項關鍵技術;

n2、精通或者熟悉Hadoop體系架構，以及HDFS/HBase/Hive/MapReduce/Spark等技術，瞭解體系架構各元件的優缺點，有直接的產品設計與開發、部署、調優的經驗;

3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜尋引擎(Solr/ElasticSearch)的使用及開發，瞭解各資料庫優缺點， 熟悉與架構設計相關的資料儲存、效能調優等相關領域知識，有相關專案經驗尤佳;

4、熟悉業界常用的資料採集、整合、資料儲存、計算、資料模型、資料分析的技術方案，具有資料分析或資料探勘相關經驗者優先;

n5、熟悉資料治理相關流程，包括資料接入、資料處理、資料治理、資料組織、資料服務等。

專業知識要求：

1、具備資料治理的知識與體系方案，包含政策、組織、角色、流程、規範等，以及規劃相應的支撐方案。瞭解業界的資料管理方法論;

2、具備資料用例設計和開發能力。能夠基於業務相關資料進行業務需求分析和痛點識別，將業務需求轉化為資料的需求，完成資料用例的設計和開發;

3、精通海量資料(日增量百億)級別資料倉庫、資料集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。

大資料架構師崗位的職責內容 篇16

職責：

根據大資料業務需求，設計大資料方案及架構，實現相關功能;

搭建和維護大資料叢集，保證叢集規模持續、穩定、高效平穩執行;

負責大資料業務的設計和指導具體開發工作;

負責公司產品研發過程中的資料及儲存設計;

針對資料分析工作，能夠完成和指導負責業務資料建模。

職位要求：

計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大資料處理相關工作經驗;

精通大資料主流框架(如 Hadoop、hive、Spark等);

熟悉 MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等佇列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的資料探勘演算法優先.

大資料架構師崗位的職責內容 篇17

職責：

1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

3. 制定專案/資料倉庫設計及實現規範，指導設計研發和部署;

4. 協助策略和演算法團隊工作，保障資料探勘建模和工程化;

5. 深入研究大資料相關技術和產品，跟進業界先進技術;

任職要求：

1. 全日制本科及以上學歷，5年以上軟體和分散式系統研發經驗，3年以上大資料系統架構經驗;

2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

3. 具備良好的系統分析能力、故障診斷能力;

4 有大資料策略、演算法、視覺化經驗優先。

大資料架構師崗位的職責內容 篇18

職責：

1、負責面向政府信領域的企業(不限於)大資料平臺、大資料應用等系統的架構設計、技術規劃、技術選型

2、跟進業界大資料技術發展動態，匹配行業應用訴求，制定大資料策略，提前識別關鍵技術並完成技術驗證;

3、支撐售前完成專案解決方案技術架構的設計及重要客戶的交流;

4、負責指導研發完成大資料產品的開發

5、帶領團隊進行產品核心技術的創新和積累

崗位要求：

1、熟悉BI和大資料領域的解決方案，具備該領域全面的技術積累，包括報表平臺，OLAP引擎和DB，ETL，資料倉庫建模和設計，海量分散式資料處理分析架構;

2、在大資料處理和分析領域具有3年或者以上的技術規劃、架構設計經驗，並有成功的專案實踐;

3、4年以上Hadoop實戰經驗，熟悉Hadoop底層檔案系統及分散式計算框架，具備傳統資料倉庫、MPP、Hadoop等混搭平臺架構的設計能力和資料建模能力，對大規模資料平行計算、傳輸、處理等有豐富的經驗;

4、有實際應用storm、spark、flume、kafka等專案經驗優先;

5、卓越的技術領導力，善於溝通、發現和解決產品需求階段、開發階段和測試階段的問題，並能提供合理解決方案，有大中型網際網路企業工作背景優先。

大資料架構師崗位的職責內容 篇19

職責：

1.負責公司大資料底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大資料戰略規劃;

2.負責統一資料平臺專案的整體評估、設計、架構及關鍵模組的開發，不斷提升系統的穩定性和效率;

3.負責架構優化及系統關鍵模組的設計開發，協助團隊解決開發過程中的技術難題;

4.建立良好的公司內外的業界技術影響力;有效輔導團隊，提升資料研發能力;

任職要求：

1.從事大資料專案相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

2.擁有一定的演算法和資料結構基礎;有很強的資料設計抽象能力，善於從複雜的資料問題中找到關鍵路徑;

3.熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於：hadoop、storm、spark、等;

4. 良好的邏輯思維能力，良好的業務解讀能力，懂電力或通訊業務優先;

5.具有鑽研精神，樂於接受挑戰;