Hadoop運維工程師崗位職責（精選23篇）

Hadoop運維工程師崗位職責 篇1

1、負責移動大資料中心的建設與維護;

2、負責安徽移動hadoop叢集的故障排查、解決;

3、其他省份hadoop專案建設提供技術支援。

Hadoop運維工程師崗位職責 篇2

1.負責Hadoop相關專案日常執行維護、故障排查工作;

2.負責Hadoop叢集的監控和配置調優工作;

3.負責Hadoop平臺的使用者管理、許可權分配、資源分配;

4.負責叢集伺服器軟體的安裝、維護、部署、更新;

Hadoop運維工程師崗位職責 篇3

1. 負責Hadoop及相關元件的部署和維護，保證其穩定執行;

2. 開發和使用Hadoop大資料自動化運維與監控工具;

3. 基於大資料應用需求，不斷調整和優化Hadoop框架及元件的配置，提升效能;

4. 為資料倉庫、資料探勘建模等資料應用專案提供執行環境支援;

Hadoop運維工程師崗位職責 篇4

op叢集運維、監控、開發;

op生態圈框架部署、故障處理、異常排查等基本工作;

3.對有助於提升叢集處理能力、高可用性、擴充套件性的各種解決方案進行跟蹤和落地;

4.解決海量資料不斷增長面臨的挑戰，解決業務需求;

5、 對Hadoop叢集進行日常管理，保障系統正常執行;

Hadoop運維工程師崗位職責 篇5

1.負責高併發，大儲存和實時流的Hadoop/spark大資料平臺規劃，運維，監控和優化工作;

2.保證Hadoop/spark平臺各核心服務執行的穩定、高效;

3.對Hadoop/spark平臺運維不斷優化，提升資料產品的質量和響應速度;

4.開發各種Hadoop大資料自動化運維與監控工具;

5.平臺大資料環境的部署維護和技術支援;

6.應用故障的處理跟蹤及統計彙總分析;

7.應用安全，資料的日常備份和應急恢復。

Hadoop運維工程師崗位職責 篇6

職責：

1.監控並分析系統的執行狀況，監控結果並定期報告，提出系統的優化方案與建設建議。

2.系統事件響應與系統維護：進行系統事件的響應，分析，進行系統故障的判斷並與供應商商討合理解決方案，並提供定期報告。

3.系統變更(含上線前測試與上線)：完成公司資訊系統的系統變更/升級，進行應用系統軟體相關廠商進行稽核，上線前測試等，確保服務質量。

4.系統非功能測試(效能與容量)與維護。參與集中交易類系統非功能的測試與調優。

5.容災維護與演練：參與資料備份、容災方案的維護與演練。

崗位要求：

1.大專或以上學歷，至少1年以上券商工作經驗;優秀的應屆本科畢業生也可以考慮;

2.有良好的協調溝通能力，負責與系統供應商之間進行溝通

3.熟悉“工作系統”所列舉的部分相關係統;

4.熟悉LINUX系統基本操作;

5.熟悉TOMCAT應用及部署

6.熟悉ORACLE、SQLSERVER資料庫基本操作。

7.學習能力強，有較強的責任心、團隊合作意識及敬業精神;

Hadoop運維工程師崗位職責 篇7

職責：

1、負責Windows、Linux系統平臺下的各服務應用部署，日常維護分析解決;

2、改進業務監控方式，輔助完成持續實現7*24全鏈路監控;

3、針對伺服器出現緊急故障或時間，需及時響應並處理解決;

4、負責資料中心應用系統搭建、優化和日常維護，以及伺服器作業系統、應用系統、資料庫系統的維護和優化;

5、有進行過自動化，容器方面的獨立操作;docker，k8s，jenkins的部署和操作經驗豐富

6、按規範流程執行，並週期完善;

【崗位要求】

1、大專以上學歷，計算機網路相關專業，二年以上相關工作經驗;

2、具有良好的溝通能力、文件編寫和文字表達能力、學習鑽研能力、問題分析與解決能力;

3、熟悉Shell程式設計，熟練掌握其他Python 或 Perl其中一個;

4、熟悉訊息佇列、Zabbix、Jenkins、Redis、Docker、k8s、git等軟體的配置管理及應用;

5、熟悉MySQL，Sqlserver 資料庫安裝、配置;

6、有運維自動化平臺相關經驗者優先;

7、細心、負責任、上進心、分享、協作，良好自我提升學習驅動意識態度。

Hadoop運維工程師崗位職責 篇8

職責：

1、負責線上線下伺服器部署，優化整個大規模應用架構的設計、實施、後期疑難問題解決。

2、熟悉分散式儲存運維，為大資料和雲服務提供可靠的運維保障。

3、完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知。

4、負責系統運維的執行、設計及流程優化及運維相關的文件、手冊、流程編寫整理。

5、負責實施專案的伺服器部署、系統環境搭建、資料備份、日誌分配、系統監控、效能優化、故障排除、系統巡檢、生產問題排查等，並配合各相關部門完成運維工作。

6、為開發、測試、產品等相關人員提供各類研發環境的支援性工作，如：基礎資源準備、系統環境搭建及日常維護、網路資源協助等工作。

7、發現現有業務架構中存在的效能問題，並進行全方位的效能優化

任職要求：

1、5年以上網際網路或相關行業工作經驗。

2、熟悉Linux作業系統、體系結構，熟練掌握Python/Shell/Perl等一至兩種語言。

3、熟悉常見應用配置及優化，如LVS/HAProxy/Apache/Tomcat/Nginx/DNS/Redis等。

4、熟悉常用的日誌及監控系統，如 Zabbix、Grafana、ELK等。

5、熟悉Vmware、KVM等各種技術化技術，有生產環境Docker管理和運維經驗者優先。

6、熟悉主流雲平臺(AWS、阿里、華為雲等)產品及技術特性，軟體定義網路技術(Openstack Neutron、SDN)或虛擬計算技術(KVM、CloudStack、Container)，對IaaS 平臺構架有深層次的瞭解。

7、精通MySQL資料庫管理、監控和備份，主從搭建配置等，熟悉Nosql資料庫。

8、具有較強的Troubleshooting能力、且能夠推動業務問題改善和解決。

9、具備良好的團隊協作精神，較強的學習能力和溝通能力。

Hadoop運維工程師崗位職責 篇9

職責：

1.伺服器及應用的安裝、部署、維護、更新、監控等;

2.伺服器相關資產管理;

3.負責處理平伺服器臺各類故障，問題快速定位和解決;

4.伺服器日常運維，應用等自動化、標準化、平臺化;

5.領導安排的其他相關工作。

職位要求：

1.本科及以上學歷，，具有2年以上Linux運維經驗，計算機、通訊、資訊科技等相關專業。

2.熟悉主流硬體，伺服器DELL、HP、IBM等。對UNIX/Linux等作業系統有一定了解;

3.有安裝除錯伺服器的經驗，包括機架式伺服器上架，做硬體raid，安裝作業系統等;

4.至少熟悉一種自動化運維工具，Ansible、 Puppet、SaltStack，無人值守Kickstart等;

5.至少熟悉一種虛擬化雲平臺技術，vmware，kvm，citrix，xen，openstack等;

6.良好的溝通能力、學習能力、團隊意識、積極的工作態度;

Hadoop運維工程師崗位職責 篇10

職責：

1. 負責阿里雲平臺的ECS伺服器與RDS資料庫的安全和維護工作;

2. 從網路安全、主機安全和資料安全、電子交易等安全層面進行網路拓撲設計;

3. 對現有執行網站的系統制定安全審計、維護制度，並監督執行;

4. 配合技術總監，共同組建完整的網際網路安全防護措施;

5. 負責公司員工電腦的技術支援(如解決網路、郵箱配置、病毒查殺、辦公軟體排錯等)

6. 負責公司各類終端機、印表機、掃描器等外設的維護。

任職要求：

1.滬籍，男，大專以上學歷，計算機應用技術、計算機網路技術及其相關專業，5年以上工作經驗;

2.計算機基礎知識紮實，對各種電腦軟體、硬體的安裝和維護有良好的經驗;

3.熟悉主流伺服器、雲伺服器配置及網站部署中介軟體(IIS/Apache/Nginx)，熟悉Windows Server、Linux系統，路由器等網路裝置，並瞭解網路裝置除錯使用;

4.熟悉TCP/IP協議和網路安全體系，對於企業區域網搭建有一定的經驗;

5.熟悉SQL Server/Oracle基本語法，對網際網路程式語言有一定的瞭解。

Hadoop運維工程師崗位職責 篇11

職責：

1、協助實施運維部經理組織實施運維技術團隊的管理、部門工作分配;

2、組織實施運維部人員履行專案內容，完整把控整個專案及實施各階段，並調動組員積極能動性，對其工作進行監督檢查;

3、做好與公司其它部門的協調工作;

4、組織安排部門工作所需的技能培訓，提高團隊的知識水平。

任職要求：

1、大學本科及以上學歷;

2、高度的責任感和事業心，服從公司領導，堅決貫徹執行上級領導指示;

3、具有計算機SM系統運維技術經驗，具有運維團隊的管理經驗;

4、有堅實的專業技術功底，具備解決技術難題的能力;

5、具備優秀的團隊組織、協調溝通和綜合管理能力;

6、具備良好的語言溝通、文字表達和獨立處理問題能力;

7、具備良好的抗壓能力;

Hadoop運維工程師崗位職責 篇12

職責：

1、負責公司大資料平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效執行;

2、深入理解公司大資料平臺架構，發現並解決效能瓶頸，支撐業務和資料量的快速增長;

3、開發大資料自動化運維、監控報警、故障處理相關指令碼和工具;

4、負責Hadoop/spark/Mysql等叢集服務、業務監控、持續交付、應急響應、容量規劃等。

任職要求：

1、3年以上網際網路運維相關工作經驗，2年以上大資料平臺運維相關工作經驗;

2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上指令碼語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協議;

3、熟悉Hadoop大資料生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各元件的原理和實現，有實際部署維護、管理( 包括元資料管理)及優化經驗。並擁有持續調優能力，運維管理過大規模資料平臺;

5、熟悉 Kubernetes(K8s) 叢集 Docker 在大資料環境場景的使用;

6、熟悉Linux(redhat/centos)軟硬體環境、系統管理和優化，熟練部署、優化各種常用服務

7、有Java開發經驗和閱讀原始碼能力者優先。

Hadoop運維工程師崗位職責 篇13

職責：

1、負責伺服器維護、優化、除錯;

2、負責遊戲業務部署、新版本釋出、服務端變更;

3、負責監控遊戲業務的執行狀況，及時處理遊戲執行中出現的故障，保障遊戲服務正常;

4、負責與遊戲專案組及研發溝通，對業務運營環境中存在的問題進行定期反饋和推動改善;

崗位要求

1、1年以上網際網路產品的系統運維經驗，大專及以上學歷;

2、熟悉Linux作業系統日常維護、優化;

3、熟練掌握Linux下應用服務的維護,包括Apache/Nginx/Mysql/Redis/PHP/DNS等;

4、熟悉掌握主流監控應用(Zabbix/Nagios)，並有一定的自定指令碼開發功能;

5、瞭解熟悉主流自動化運維配置工具(puppet/saltstack/ansible);

6、熟悉至少一種指令碼程式語言(Shell/Pythen/PHP等指令碼語言)，能編寫完成日常工作使用的自動化工具;

7、精通Mysql資料庫，有大資料、高併發資料庫開發維護經驗;

8、具備良好的溝通能力和團隊合作精神，高度的責任心;

Hadoop運維工程師崗位職責 篇14

職責：

(1)參與規劃設計、效能優化建議及實施方案編制。

(2)負責行業重點客戶的核心高階裝置的高階保障，提供運維保障優化資料依據及對應建議、參與方案制定;負責日常運維的質量、進度保障;

(3)提供重難點技術問題的高階技術支援。對重點客戶提供相關網路知識、我司運維體系、保障體系以及網路優勢等內容專項培訓及交流工作;

(4)編制交付客戶的運維相關報告及例行彙報、會議溝通;

(5)負責為行業客戶提供在特殊時期或場景(如會議、銀行系統升級等)的保障服務方案落地及高階技術保障服務，事後總結分析等，確保保障順利完成。

(6)負責客戶重點問題的落地及彙報;

(7)專案所需的其它技術類支撐工作。

中級任職資格：

(1)技術要求：具有ICT專案、集客業務、數通產品維護、傳輸專線等業務維護工作經驗;

(2)有解決方案編寫能力，熟悉WORD，EXCEL，VISIO，POWERPOINT等文件編輯工具;

(3)具備業務管理能力，熟悉集客業務，具備故障協調、支撐流程優化等各項工作能力與經驗;

(4)學歷要求：大學專科及以上學歷，具有良好的溝通和協調能力，具有很強的執行力;擁有中級專案經理證書、CCNP思科認證網路高階工程師、系統整合專案管理工程師任意一本證書優先考慮;

(5)具備一定專案管理經驗、運營商溝通經驗者優先。

Hadoop運維工程師崗位職責 篇15

職責：

遊戲伺服器的部署，更新和維護

遊戲伺服器的效能調優

後臺資料統計分析

GM工具開發和維護

任職要求：

一年以上linux運維經驗，遊戲行業優先

熟悉Nginx伺服器配置及效能優化(負載均衡、反向代理、SSL等)

熟悉memcache、mongo資料庫部署，優化及常規查詢操作

熟悉kafka配置及調優

能夠接受python開發

熟悉linux系統下常規服務的配置、優化、維護工作

Hadoop運維工程師崗位職責 篇16

1. 遵循釋出、變更流程，負責系統建設和運維工作，保證其高效、穩定工作

2. 負責服務系統的網路架構與安全規劃，部署實施、線上系統日常的運維變更;

3. 搭建和維護業務系統的執行環境，伺服器架設、網路及安全配置、系統軟體安裝配置及優化、災備方案實施等;

4. 持續完善監控告警、故障排查。對業務系統做好監控報警，及時發現業務系統異常，並快速止損恢復，保障系統服務7x24穩定執行。

5. 優化和完善現有運維流程及規範;

6. 基於高效的原則，進行必要的自動化系統和工具的建設。

7. 根據業務發展和執行情況，對業務系統的部署進行架構調整和優化

8. 針對業務特點設計出能夠支撐大規模服務叢集的運維體系，優化運維成本和效率

9. 定期評估和稽核計算機系統有關資料庫的安全狀況，關注網路安全動態，堵塞網路安全漏洞，消除網路安全隱患，確保資料訪問的暢通執行

10. 負責網路安全相關應急響應工作，跟進外界最新 DDOS/CC 攻擊趨勢，調優公司相應的防禦水平

Hadoop運維工程師崗位職責 篇17

職責：

1. 負責App、公眾號服務平臺的伺服器日常運維，包括：App產品後臺、應用系統、資料庫、作業系統的部署、遷移，及執行異常狀況排除;

2. 新產品/服務、功能模組的部署上線，日常運維狀況監控、優化工作;

3. 執行伺服器系統的例行檢查測試，並分析執行資料，提供系統使用、維護的建議;

4. 配合產品研發部門，參與整體系統的架構規劃、效能優化。

任職說明：

計算機相關專業大學本科以上學歷，具有紮實的計算機基礎理論知識;

熟練使用Linux/windows等常見作業系統，熟悉zabbix、nagios、cacti等開源監控工具，熟練使用shell、python其中一種指令碼語言，熟悉虛擬化技術xen、kvm;

熟悉JAVA環境及nginx、tomcat、jboss、redis、memcached等常見常見應用服務，熟悉MySql及Oracle資料庫的安裝、配置、災備等;

熟悉各種雲架構服務(例如阿里雲、騰訊雲、AWS等雲部署環境)

Hadoop運維工程師崗位職責 篇18

職責:

1、技術保障各底層支撐系統的可靠性與穩定性;

2、負責車輛網平臺的執行監控的解決方案編制、實施與二次功能開發;

3、負責技術文件手冊編寫，更新，經驗總結沉澱，培訓分享;

4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率

任職資格:

1、熟悉常見的應用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用叢集、負載均衡叢集的規劃與搭建;

2、熟練使用Linux、TCP/IP網路協議棧，瞭解常用的Troubleshooting手段和常見效能指標

3、具有車聯網平臺運維的經驗，精於容量規劃、架構設計、效能優化;

4、熟悉主流PaaS雲產品的使用，具有運維平臺開發經驗者、參與過開源產品的開發者優先;

5、優秀的溝通能力，出色的學習與鑽研能力，良好的問題分析與解決能力;

6、對行業技術敏感度高且細緻，善於思考，樂於發現，對解決具有挑戰性問題充滿激情。

Hadoop運維工程師崗位職責 篇19

職責：

1、負責所在區域一卡通系統售後維護、存續業務、系統巡檢、產品諮詢、產品知識庫的建立、故障判斷與解決的服務工作。

2、負責協助制定一卡通系統實施方案，參與協助專案技術談判。

3、負責協助所在區域一卡通系統專案的實施、培訓、驗收及回款工作。

4、與售前工程師緊密合作，與客戶交流，提供技術顧問服務，充分理解客戶需求，編寫專案計劃。

5、完成上級領導交代的其他工作

崗位要求：

1、計算機、通訊工程、電子相關專業，大專及以上學歷，具有良好的計算機技術基礎。

2、責任心強,良好的溝通能力，團隊協作精神強，服從組織和領導對工作的安排和要求。

3、具備良好的團隊合作意識;吃苦耐勞,勤奮刻苦,主觀能動性強，能夠適應長期出差。

4、熟練掌握windows作業系統和sql server資料庫，熟練使用各類資料庫操作命令。

5、熟練掌握unix、linux等作業系統和oracle大型資料庫。

6、熟練掌握project、visio等專案管理工具。

7、具有較強的文件編寫能力。

Hadoop運維工程師崗位職責 篇20

職責:

1、負責應用系統的稽核、部署、釋出、監控、維護和優化;

2、參與自動化運維平臺的探索、設計;

3、負責突發事件管理，問題跟蹤與管理，保障系統24×7穩定執行;

4、負責日常運維文件的撰寫整理工作;

5、負責運維技術難點的攻關;

任職資格:

1、全日制大專及以上學歷，3年以上基礎架構、系統運維、網際網路業務運維相關工作經驗;

2、深入掌握unix/linux系統的使用，熟悉TCP/IP協議相關知識;

3、深入瞭解運維體系結構設計、系統性能優化、CI/CD方案設計落地;

4、熟練使用linux下tomcat、LVS、nginx、kafka、ELK、jenkins、git、rabbitmq、zabbix等常用軟體。

Hadoop運維工程師崗位職責 篇21

職責：

1、負責伺服器硬體維護及作業系統安裝、配置、調優;

2、負責公司內部蘋果系統、Mac/Windows儲存系統的安裝、配置及維護;

3、負責公司Exchange郵件系統的維護;

4、合理規劃伺服器負載、有效管理儲存裝置;

5、日常維護伺服器已有應用，排查故障;

6、合理分配各員工許可權，並做好監督管理工作;

6、根據公司需求，搭建新的應用;

7、完成上級交辦的其他事宜。

崗位要求：

1、至少3年以上IT運維支援經驗;

2、熟悉Windows Server / Linux / Mac等作業系統及伺服器群的設定、維護;

3、熟悉Zabbix的運維監控;

4、熟練掌握VM虛擬化;

5、熟悉AD、Exchange、NTP、WebLogic、Nginx、Apache等應用環境的配置、調優;

6、熟悉SAN / Xsan、NAS儲存系統，系統配置、故障判定及調優;

7、熟悉使用Shell和一種語言指令碼(php/python/perl)為佳;

8、熟悉CDN推送流程及維護。

Hadoop運維工程師崗位職責 篇22

職責：

負責公司大資料業務叢集的運維工作、叢集容量規劃、擴容及效能優化;

設計實現大規模分散式叢集的運維、監控和管理平臺;

參與業務架構設計，在設計階段給出可運維性改進建議;

深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

負責公司大資料平臺的應用監控、容量管理，應急響應等;

領導安排的其他工作。

任職要求：

1、本科及以上學歷，軟體工程、計算機等相關專業;

2、熟悉計算機原理、網路原理等知識;至少2年以上運維或開發工作經驗;

3、搭建，管理及調優Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源專案優先;

4、至少掌握java/python/go中的一種語言;

5、熟悉HBase/Flink/mysql/redis運維優先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很強的分析和解決問題的能力;

8、具有攻克難題的強烈興趣，以及提升技術能力的意願;

9、善於主動學習，責任心強，能夠承受較大的工作壓力。

Hadoop運維工程師崗位職責 篇23

職責：

1、協助公司完成現場桌面終端問題的接單響應，問題處理閉環工作，常見桌面問題支援主要是耗材、電腦、裝置、應用服務軟體管理等各類問題;

2、在客戶現場辦公，協助上級與客戶保持良好的溝通，跟進客戶反饋問題的各個環節，確保桌面運維工作順利實施;

3、問題需要團隊協作，能完成工單派發，及業務資料統計;

4、公司知識庫及問題庫的錄入及持續完善工作。

5、協助上級開展的其他工作。

崗位要求：

1.計算機、電力電氣、管理類、工程類、自動化類相關專業，大專及以上學歷，3年以上運維服務相關工作經驗，具有網路工程師、資訊保安工程師等職業資格證書優先;

2.瞭解IT服務管理系統及呼叫系統;

3. 熟悉桌面終端運維，運維資源處理，日常軟硬體運維，以及故障消缺、提供技術支援等，具備較強的分析和解決問題能力。