大資料運維工程師的工作職責（通用14篇）

大資料運維工程師的工作職責 篇1

職責：

1. 完成大資料平臺日常運維工作(上線/日常監控/問題定位/指令碼開發)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源元件;

2. 完成大資料自研平臺工具運營，比如報表平臺、排程平臺和效能監控平臺;

3. 提升系統可靠性，完善監控策略，優化運維流程，提升部門運維效率，保證7*24服務;

4. 參與開源社群建設，提升公司開源影響力;

任職條件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源元件的搭建、維護以及問題定位;

2. 熟悉Linux作業系統，熟練掌握Linux常用命令,瞭解ansible/puppet;

3. 熟練掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握資料庫的維護工作;

5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

6. 有大資料平臺維護經驗優先;

7. 掌握dockerfile，瞭解大資料與k8s結合者優先;

8. 參與開源社群，有程式碼貢獻或者高質量部落格文章者優先;

大資料運維工程師的工作職責 篇2

職責：

1、負責和參與公司大資料基礎架構平臺規劃，運維，監控和優化工作，保障資料平臺服務的穩定性和可用性;

2、研究大資料前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

3、負責和參與自動化運維繫統及平臺的建設;

4、負責優化部門運維流程提升運維效率。

任職要求：

1、統招本科及以上學歷，計算機相關專業，2年以上網際網路運維工作經驗;

2、熟悉Linux作業系統及常見開源軟體(Nginx,Tomcat,Zabbix等)的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的元件原理及運維方式;

4、精通Python,shell,瞭解JAVA;有良好的系統性能優化及故障排除能力;

5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

6、具備較好的溝通能力、主動性和團隊合作精神。

大資料運維工程師的工作職責 篇3

職責：

1、負責大資料平臺架構的規劃、設計、搭建;

2、負責大資料平臺的運維保障工作;

3、負責運維相關資料分析，以及報表產出;

4、為線上服務高效穩定執行負責，支撐業務和資料量的快速擴張;

5、深入理解大資料平臺架構，發現並解決重大故障及效能瓶頸;

6、研究跟進大資料架構領域新技術並分享。

工作要求：

1、熟悉大資料產品生態圈，包括但不限於HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系統;

3、有資料分析經驗優先，精通一門以上指令碼語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發語言一種及以上;

4、有2年以上大資料平臺相關運維開發經驗，瞭解分散式平臺執行的原理，並有實際部署維護經驗;

5、學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰;

6、良好的服務意識，善於團隊協作，專案管理，主動思考，自我驅動力強。

大資料運維工程師的工作職責 篇4

職責：

1、負責Hadoop、HBase、Hive、Spark等大資料平臺 規劃、部署、監控、系統優化等，確保高可用;

2、負責公司大資料平臺的運維管理工作，叢集容量規劃、擴容及效能優化;

3、處理公司大資料平臺各類異常和故障，確保系統平臺的穩定執行;

4、設計實現大規模分散式叢集的運維、監控和管理平臺;

5、深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

6、為資料倉庫、資料探勘建模等資料應用專案提供執行環境支援。

崗位要求：

1、掌握Linux作業系統的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;

3、熟悉 Hadoop生態及高效能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有叢集運維經驗，以及大負載下的容量評估、問題定位、架構優化等能力優先;有分散式系統(計算/儲存)開發經驗優先;

5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;

6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜尋和分析引擎開發經驗者優先;

大資料運維工程師的工作職責 篇5

1.負責公司大資料業務叢集的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保叢集環境的穩定可用;

2.負責叢集容量規劃、擴容及效能優化;

3.負責大資料叢集效能監控與優化，故障處理，資料備份及容災恢復，叢集出現異常時，能快速定位問題，並及時給出解決方案;

4.設計實現大規模分散式叢集的運維、監控和管理平臺;

5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;

6.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技術及發展方向;

7.參與例如伺服器維護、專案維護、監控維護等常見運維事務

大資料運維工程師的工作職責 篇6

職責：

1.日常監控報警處理、故障現場處理以及系統關聯的業務服務需求處理;

2.系統變更處理，如系統優化、漏洞修復、業務增加功能、系統漏洞修復等;

3.相關係統的專案前期測試、調研、以及實施和後期維護;

4.系統各類程式引數優化設定，以及應用系統版本升級，系統架構調整等;

5.系統故障報告編寫，以及系統維護相關文件整理。

任職要求：

1、本科及以上學歷或同等學力，2年以上IT相關工作經驗;

2、熟悉linux或UNIX系統整合和運維管理，具有系統整合或專案實施經驗;

3、至少掌握一門指令碼語言，不限於shell、python、perl;

4、性格開朗，吃苦耐勞，積極主動、樂觀向上，富有團隊精神，具有良好協調溝通能力，能承受較大工作壓力和工作強度，具有良好的工作態度與職業精神。

大資料運維工程師的工作職責 篇7

職責：

1.負責專案系統部署實施的過程執行;

2.負責日常系統維護、產品上線實施和故障處理;

3.負責收集系統維護過程中的系統缺陷和軟體缺陷，提出合理化改進建議和意見;

4.為目標客戶提供系統技術培訓和技術支援，完善系統維護知識庫建設。

任職要求：

1.具備專科及以上學歷，計算機、軟體等相關專業畢業，5年以上相關工作經驗;

2.具備千萬級使用者量/裝置的大型網際網路/物聯網系統建設運維經驗及專案管理經驗，熟悉網際網路/物聯網系統主流架構;

3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中介軟體及Docker等容器技術;

4.熟悉windows server、Linux等主流作業系統的使用;

5.掌握Postgresql(主要)、Oracle、Mysql等主流資料庫的使用，包括儲存過程開發，能編寫高效SQL。

6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等監控工具使用及Python指令碼優化;

7.掌握SVN/Git/Puppet/jenkins等自動化運維工具，具備應用服務安裝配置、管理維護、故障分析和系統性能分析優化經驗。

大資料運維工程師的工作職責 篇8

職責：

1、負責業務系統基礎設施維護，保障伺服器與資料庫安全，檢查並消除安全漏洞;資料備份、資料監控、應急響應、故障排除、編寫資料分析報告等。

2、負責Linux伺服器的配置，維護，監控，調優，故障排除，網路優化等;大使用者量下高效能伺服器系統部署方案的制定及實施;

任職要求(任意三條):

1、擁有對業務流向的邏輯理解能力，對軟體相關流量中的安全性有所考慮，對安全裝置、網路裝置有了解。

2、熟悉centos/redhat系列linux系統，有2年以上linux系統工作經驗;

3、熟悉常見的分佈併發及負載均衡實現方案並有實際實施經驗，有負載壓力及併發量控制經驗;

4、熟練掌握Linux系統及常見服務的安裝配置，能靈活運用shell等相關指令碼語言，熟悉mysql、Oracle等資料庫的部署、配置、資料備份機制等;

5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服務的安裝配置，有實際運維經驗者優先;

6、負責Linux伺服器的配置，維護，監控，調優，故障排除，網路優化等;大使用者量下高效能伺服器系統部署方案的制定及實施;

大資料運維工程師的工作職責 篇9

1、系統運維、服務監控分析、故障排查，以及緊急情況下的應急處理;

2、遵循釋出、變更流程，負責系統建設和運維工作，保證其高效、穩定工作;

3、研究服務架構，發現潛在問題，制定系統調整和優化方案，提高系統的健壯性和效率;

4、參與系統架構設計，建設和管理;

5、參與公司基礎網路安全架構的建設，根據業務需求制定安全解決方案;

6、解決日常安全問題，在出現網路攻擊或安全事件時進行緊急響應、恢復系統及調查取證。

大資料運維工程師的工作職責 篇10

職責：

1. 負責日常網路及各子系統管理維護;

2. 負責設計並部署相關應用平臺，並提出平臺的實施、執行報告;

3. 負責配合開發搭建測試平臺，協助開發設計、推行、實施和持續改進;

4. 負責相關故障、疑難問題排查處理，編制彙總故障、問題，定期提交匯總報告;

5. 負責網路監控和應急反應，以確保網路系統有7*24小時的持續運作能力;

6. 負責日常系統維護及監控，提供IT軟硬體方面的服務和支援，保證系統的穩定。

素質要求及任職資格：

1.學歷： 專科以上。

2.專業： 計算機相關專業。

3.經驗： 一年以上相關工作經歷優先。

4.核心能力及業務技術要求：

A.熟悉Unix/linux和Windows系統，有IT系統維護經驗; 對作業系統、網路、電腦保安有一定的深刻理解;

B.熟悉主流的交換機、路由器、防火牆等網路裝置及其技術應用;

C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

D.熟悉負載均衡技術，lvs+keepalive+Heartbeat等叢集技術;

E.精通或掌握SQLServer/Oracle/mysql等大型資料庫管理系統(之一)的安裝/配置和管理;

F.熟練掌握Linux監控軟體，如nagios等，監控系統安全控制及技術防範;

G.具備良好的分析和解決問題的能力，對於攻關疑難問題具有強烈的興趣;

H.性格開朗外向、善於學習,具備較強的服務意識、溝通協調能力、團隊協作能力;

I.良好的文件編寫能力，較強的客戶服務意識，積極主動，吃苦耐勞, 高度的責任心及應急能力;

5.其它：身體狀態良好。

大資料運維工程師的工作職責 篇11

職責：

1. 負責公司伺服器的運維工作，主要包括升級部署、備份恢復、日常巡檢、效能優化、配置操作等;

2. 搭建平臺監控工具、自動化運維工具;

3. 編寫運維手冊，制定運維計劃、操作規範、應急手冊等;

4. 及時響應問題，快速定位排查故障，優化網路結構，提升使用者體驗;

5. 負責監控檢查系統軟體、服務執行狀態和操作記錄，並進行詳細的資料化記錄，定期彙總並上報給負責人;

任職要求：

1.本科及以上學歷，計算機通訊相關專業，3年以上相關工作經驗;

2.熟練操作LINUX/WINDOWS作業系統的安裝、配置 及命令。

3.熟練操作ORACLE，編寫SQL語句，對使用者、表空間，資料檔案有理解，並能擴大相關係統的表空間。

4.熟悉WEBLOGIC安裝及調優，定期對JAVA應用程式的釋出和更新;

5.具備故障診斷和處理能力及應用系統和資料庫備份的運維經驗;

6.有較強的溝通協調能力及高度責任心

大資料運維工程師的工作職責 篇12

1、設計網路裝置、伺服器及安全系統的拓撲結構

2、開展對公司各平臺伺服器硬體的巡檢;桌面計算機軟硬體(計算機、顯示器、電話、網路設施和其他附屬硬體設施，如印表機、掃描器)安裝、配置、升級、執行維護與管理，保障桌面系統正常執行，滿足日常工作的需要;對網路裝置、伺服器及安全系統等執行監控與管理，負責對公司綜合佈線系統的維護與管理;撰寫運維技術文件。

3、根據運維、巡檢報告等統計整理運維資料定期評估平臺的硬體、軟體的服務能力，出具評估報告。

4、完成領導交辦的其他工作。

大資料運維工程師的工作職責 篇13

職責:

1、 負責企業機房日常維護和巡檢工作

2、 負責機房內伺服器、儲存等硬體裝置的維護管理, 自動化運維繫統的部署和管理，以及常見軟硬體故障的處理

3、 負責企業核心心應用資料庫的日常維護，資料備份、資料恢復以及資料庫的優化等工作

4、 負責各類伺服器作業系統的維護和管理，包含Windows、Linux以及Unix伺服器系統的日常維護

5、 負責雲平臺系統的日常維護管理，虛擬機器建立，資源分配、回收以及系統資源的日常監控和管理

任職資格:

1、 本科或以上學歷，計算機相關專業

2、 至少兩年以上 windows、linux 伺服器運維管理經驗

3、 熟練掌握windows server、 liunx作業系統的安裝配置、系統管理以及系統優化

4、 熟練掌握oracle/mysql/sybase主流資料庫的配置與優化，資料備份與恢復，資料安全，資料遷移與歸檔，資料庫日常監控與管理

5、 具有豐富的系統軟體及其硬體的故障排除經驗，具備較強的分析及解決問題的能力，並善於主動總結和分享自己的工作經驗;

6、具有良好的服務意識，端正的服務態度，敢於吃苦，服從安排

大資料運維工程師的工作職責 篇14

職責：

1、 負責Windows，Linux伺服器作業系統的安全加固，包括防病毒，應用防護等。

2、 負責安全滲透、安全加固及安全事件的應急響應，協助漏洞驗證等。

3、 負責定期對伺服器進行漏洞掃描、埠掃描、弱密碼掃描，並整理報告。

4、 負責定期對運維人員，研發人員及測試人員進行安全培訓，提高整體的安全意識。

5、 負責對各類安全事件主導跟進，包括系統漏洞處理、防薅羊毛、DDOS防禦及其他安全加固措施實施。

6、 負責等保三級的相關工作;

7、處理領導交辦的其他工作 。

崗位要求：

1、 計算機、通訊相關專業大專以上學歷

2、 熟悉主流伺服器作業系統(Windows、LINUX)、資料庫(sql、mysql)等基本操作和安全配置;

3、 具備一定的資訊保安基礎知識，熟悉網路裝置和安全裝置的操作，熟悉防火牆、入侵檢測、VPN等網路安全技術;

4、 良好的溝通能力、富有團隊精神，能夠承擔較大工作壓力;

5、 瞭解資訊保安等級保護、27001資訊保安體系、ITIL等相關安全標準優先;

6、 持有等級保護測評師認證、HCNP或同等級證書者優先;

7、 熟悉國產作業系統(如中標麒麟、中科方德等)、國產資料庫(神通、達夢、南大通用)優先;

8、 有政府類專案實施維護經驗優先。