大資料運維工程師的工作職責（精選19篇）

大資料運維工程師的工作職責 篇1

職責：

1、負責和參與公司大資料基礎架構平臺規劃，運維，監控和優化工作，保障資料平臺服務的穩定性和可用性;

2、研究大資料前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

3、負責和參與自動化運維繫統及平臺的建設;

4、負責優化部門運維流程提升運維效率。

任職要求：

1、統招本科及以上學歷，計算機相關專業，2年以上網際網路運維工作經驗;

2、熟悉Linux作業系統及常見開源軟體(Nginx,Tomcat,Zabbix等)的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的元件原理及運維方式;

4、精通Python,shell,瞭解JAVA;有良好的系統性能優化及故障排除能力;

5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

6、具備較好的溝通能力、主動性和團隊合作精神。

大資料運維工程師的工作職責 篇2

職責：

1、負責大資料平臺架構的規劃、設計、搭建;

2、負責大資料平臺的運維保障工作;

3、負責運維相關資料分析，以及報表產出;

4、為線上服務高效穩定執行負責，支撐業務和資料量的快速擴張;

5、深入理解大資料平臺架構，發現並解決重大故障及效能瓶頸;

6、研究跟進大資料架構領域新技術並分享。

工作要求：

1、熟悉大資料產品生態圈，包括但不限於HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系統;

3、有資料分析經驗優先，精通一門以上指令碼語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發語言一種及以上;

4、有2年以上大資料平臺相關運維開發經驗，瞭解分散式平臺執行的原理，並有實際部署維護經驗;

5、學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰;

6、良好的服務意識，善於團隊協作，專案管理，主動思考，自我驅動力強。

大資料運維工程師的工作職責 篇3

1.負責公司大資料業務叢集的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保叢集環境的穩定可用;

2.負責叢集容量規劃、擴容及效能優化;

3.負責大資料叢集效能監控與優化，故障處理，資料備份及容災恢復，叢集出現異常時，能快速定位問題，並及時給出解決方案;

4.設計實現大規模分散式叢集的運維、監控和管理平臺;

5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;

6.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技術及發展方向;

7.參與例如伺服器維護、專案維護、監控維護等常見運維事務

大資料運維工程師的工作職責 篇4

職責：

1、負責Hadoop、HBase、Hive、Spark等大資料平臺 規劃、部署、監控、系統優化等，確保高可用;

2、負責公司大資料平臺的運維管理工作，叢集容量規劃、擴容及效能優化;

3、處理公司大資料平臺各類異常和故障，確保系統平臺的穩定執行;

4、設計實現大規模分散式叢集的運維、監控和管理平臺;

5、深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

6、為資料倉庫、資料探勘建模等資料應用專案提供執行環境支援。

崗位要求：

1、掌握Linux作業系統的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;

3、熟悉 Hadoop生態及高效能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有叢集運維經驗，以及大負載下的容量評估、問題定位、架構優化等能力優先;有分散式系統(計算/儲存)開發經驗優先;

5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;

6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜尋和分析引擎開發經驗者優先;

大資料運維工程師的工作職責 篇5

職責：

1. 完成大資料平臺日常運維工作(上線/日常監控/問題定位/指令碼開發)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源元件;

2. 完成大資料自研平臺工具運營，比如報表平臺、排程平臺和效能監控平臺;

3. 提升系統可靠性，完善監控策略，優化運維流程，提升部門運維效率，保證7*24服務;

4. 參與開源社群建設，提升公司開源影響力;

任職條件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源元件的搭建、維護以及問題定位;

2. 熟悉Linux作業系統，熟練掌握Linux常用命令,瞭解ansible/puppet;

3. 熟練掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握資料庫的維護工作;

5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

6. 有大資料平臺維護經驗優先;

7. 掌握dockerfile，瞭解大資料與k8s結合者優先;

8. 參與開源社群，有程式碼貢獻或者高質量部落格文章者優先;

大資料運維工程師的工作職責 篇6

職責：

1.包括應用版本釋出、備份、部署、工單處理、監控等;

2.負責應用系統日常維護巡檢工作，編寫執行報告;

3.及時響應並快速定位故障，保障線上業務 7×24穩定執行;

4.負責業務運營日誌資料的統計和分析;

5.負責收集業務平臺日常使用過程中出現問題和對應的產品、研發部門分析、排查和解決，最終優化軟體的效能;

6.負責外部資訊對內的知會，內部需求討論結果對外的反饋;

7.能夠通過對日常問題的分析彙總編寫資料分析報告，優化工作流程、提升工作效率和服務質量;

任職要求：

1.全日制大專及以上學歷，計算機相關專業，一年以上相關工作經驗;

2.瞭解一定的資料庫原理知識;

3.具有較好的溝通、對接反饋及較強的團隊協作精神;

4.愛學習，好專研，耐得住繁瑣細碎的工作形式;

5.有業務系統運維經驗者優先;

6.熟練熟悉Apache、Tomcat、JBoss等中介軟體，以及Apache+Tomcat/JBoss的叢集配置和管理優先;

7.有過雲伺服器維護經驗者優先;

大資料運維工程師的工作職責 篇7

職責：

1.伺服器及應用的安裝、部署、維護、更新、監控等;

2.伺服器相關資產管理;

3.負責處理平伺服器臺各類故障，問題快速定位和解決;

4.伺服器日常運維，應用等自動化、標準化、平臺化;

5.領導安排的其他相關工作。

職位要求：

1.本科及以上學歷，，具有2年以上Linux運維經驗，計算機、通訊、資訊科技等相關專業。

2.熟悉主流硬體，伺服器DELL、HP、IBM等。對UNIX/Linux等作業系統有一定了解;

3.有安裝除錯伺服器的經驗，包括機架式伺服器上架，做硬體raid，安裝作業系統等;

4.至少熟悉一種自動化運維工具，Ansible、 Puppet、SaltStack，無人值守Kickstart等;

5.至少熟悉一種虛擬化雲平臺技術，vmware，kvm，citrix，xen，openstack等;

6.良好的溝通能力、學習能力、團隊意識、積極的工作態度;

大資料運維工程師的工作職責 篇8

職責：

1、負責公司Linux伺服器的維護、備份、調優;

2、負責本地伺服器提供的計算機環境的部署;

2、負責設計實現與運維相關的自動化工具或系統;

4、能夠熟練排查運維過程中出現的服務故障、系統故障、網路故障;

職位要求：

1.計算機相關專業，2-5年工作經驗，服務過技術型公司;

2.熟練掌握linux伺服器的配置和管理，防火牆，VPN等技術;

3.熟練掌握各種軟硬體負載技術框架的安裝除錯和技術支援，如lvs，nginx等

4.熟練使用Shell/Python指令碼工具進行運維自動化;

5.熟悉GitLab/Wiki等相關技術，及有實際專案使用經驗;

6.有大資料處理軟體運營經驗者優先

大資料運維工程師的工作職責 篇9

職責：

1) 負責駐場保障拉薩機場的中航信離港前端軟體桌面級運維，主要覆蓋安裝、除錯、故障受理與解決;

2) 負責西藏分公司拉薩機場離港系統伺服器、小型機、網路裝置運維，主要工作包括日常監控、系統演練、應急流程處理、裝置安裝於除錯;

3) 負責轄區支線機場弱電系統與網路裝置運維，主要業務包括系統巡檢、駐場保障、專案實施等;

4) 負責轄區航空公司弱電系統運維，主要負責桌面級運維;

5) 負責協助業務人員，提供必要的計算機應用技術支援，挖掘客戶潛在需求;

6) 協助行政人員，提供必要的計算機應用技術支援;

任職要求：

1)全日制大專以上學歷，電腦科學與技術及相關專業畢業

2) 適應高原氣候，拉薩市海拔3500米，轄區支線機場海拔超過4000米;

3) 熟練使用OFFICE、WPS、網路製圖等辦公軟體;

4) 具備優秀的計算機軟硬體知識，熟悉vmware、計算機組裝;熟悉UNIX或LINUX系統操作與維護;熟悉Windows系統運維;

5) 熟悉Oracle、SQLserver資料庫安裝與維護，熟悉 SQL指令;

6) 熟悉網路裝置指令，擁有CISCO企業網路資質證書、華為資質證書、國家計算機軟考資質證書優先;

7) 願意在西藏高原地區機場或全國其他機場中短期出差;

大資料運維工程師的工作職責 篇10

1.根據維護及工作要求，對裝置、設施及系統進行現場/遠端檢查;

2.能對裝置、設施及系統的問題進行簡單故常排除。

3.負責記錄巡檢及故障報告。

大資料運維工程師的工作職責 篇11

職責：

1、負責公司運維和技術支援團隊的日常管理;

2、負責高效能伺服器叢集、雲伺服器、虛擬機器、大容量儲存裝置、加速和映象裝置的部署和管理;

3、維護各項基礎/應用服務，監控內部外部網路裝置，伺服器執行狀態，保障業務穩定執行;

4、制定網路和裝置的運維規範和策略，並實現文件化;

5、協助快速解決生產裝置及環境重大故障或疑難問題，及時處理突發故障;

6、制定和優化運維解決方案，例如容災、防攻擊、擴容、備份等;

職位要求：

1、專科以上學歷，二年以上工作經驗

2、精通各類作業系統、資料庫、應用服務、虛擬化服務

3、精通各類伺服器裝置、網路裝置、安全裝置、儲存裝置

4、熟悉HTML、抓蟲，並從事過網站實施相關工作;

5、熟悉LVS的Linux Cluster技術、Nginx、Apache等常用的web伺服器技術;;

6、熟悉常見伺服器、網路裝置及防火牆等的配置;

7、熟悉VMWare或同類的虛擬化技術;;有大型網際網路產品運維經驗者優先。

大資料運維工程師的工作職責 篇12

職責：

1.負責網路系統及部分應用系統的管理和運維;

2.硬體維護主要包括PC機/膝上型電腦/印表機/考勤機等終端裝置的調配及維護並妥善記錄;

3.協助使用者解決使用者網路運維問題，遠端或現場支援使用者的專案實施及運維操作;

4.對日常問題進行跟進，並做好記錄，定期提交相關執行報告和工作記錄報告;

5.完成上級交辦的其他工作。

任職要求：

1.計算機相關專業專科以上學歷，男女不限

2.掌握基本網路知識，網路故障排查

3.熟悉網路軟硬體產品，能進行基本的安裝除錯;

4。具有較強的溝通及組織協調能力、學習能力及較強的團隊合作精神

5.具有高度的責任心、獨立工作的能力並具備較強的分析、判斷和解決問題能力

6.能接受外派常駐。

大資料運維工程師的工作職責 篇13

職責：

負責公司全球資料中心Linux平臺的運營維護。

參與全球資料中心網路及監控系統的維護與管理。

深入自動化部署及測試的研究，不斷完善運維流程，實現大規模伺服器叢集的智慧化運維。

不斷挑戰和突破自我，運用雲應用領域的前沿科技知識，幫助公司實現運維領域的重大革新。

技能要求：

計算機相關專業，兩年以上 Linux平臺的運維和管理經驗。

熟悉Apache、Nginx等Web Server的配置、優化與排錯。

熟悉MySQL等資料庫的配置、優化與排錯。

熟悉Shell或Python的指令碼編寫。

有強烈的團隊協作意識，對工作嚴謹負責，對新技術和未知領域樂於探索。

大資料運維工程師的工作職責 篇14

職責：

1、負責系統運維，解答使用者疑問，處理異常;

2、負責系統使用者操作培訓;

3、負責收集並統計使用者系統需求及初步溝通及分析;

4、負責系統資料庫的基本維護檢查備份。

任職要求：

1、計算機或資訊化管理等專業本科及以上學歷;

2、熟悉SQL Server/Postgresql資料庫，熟練掌握SQL 語句的運用;

3、有一定軟體開發語言基礎，熟悉C#語言者優先;

4、熟悉製造企業的生產流程，熟悉鞋服制造企業生產流程者優先;

5、抗壓能力強;

6、良好的溝通及理解能力。

大資料運維工程師的工作職責 篇15

職責:

1、負責雲伺服器的配置、部署、監控等工作，並通過開發工具持續提升工作效率

2、熟悉運維相關技術，包括運維自動化技術，虛擬化技術，監控技術，網路技術，容器技術等;

3、協調開發，測試，運維等各個團隊，推進公司DevOps相關工作，提高線上產品執行質量;

4、主動發現生產環境的問題和隱患，通過開源運維工具或自研運維工具提高公司運維交付能力;

5、能夠運用主機監控、日誌分析、APM、常用系統性能分析命令等工具進行復雜問題定位，快速響應和處理反饋的問題。

6、快速處理實際執行中遇到的各種系統故障，並對系統可能出現的故障問題進行預防;

7、負責生產環境網路裝置、負載均衡裝置及相關業務服務的配置、管理、優化等工作;

任職資格:

1、3年以上大中型線上系統運維工作經驗(有網際網路運維經驗優先);

2、能熟練編寫 Shell或Python指令碼，有Python程式設計能力者優先;

3、熟悉Windows、linux系統及常見服務的安裝配置優化，熟悉常見的負載均衡實現方案並有實際實施經驗(例如 Haproxy、Nginx、OpenResty、LVS等);

4、熟悉NoSQL(Redis、MongoDB、Elasticsearch)、MQ使用場景，能對其進行安裝、配置、調優及快速故障處理

5、熟悉伺服器硬體安裝與調優，能夠熟練排查運維過程中出現的各種服務故障、系統故障、網路故障、安全攻擊等問題，並進行快速處理響應。事後進行相關故障文件記錄維護;

6、熟練資料庫(SQL Server、MySQL)原理，能對資料庫進行日常增刪查改操作，高可用部署，效能調優;

7、瞭解Docker、Kubernetes、微服務、持續整合相關知識，有實際運維經驗優先;

8、熟悉交換機、防火牆、路由器等網路裝置的管理和維護，有阿里雲、騰訊雲、AWS等雲平臺的使用經驗優先;

9、具有很強的學習能力，對新技術能深入學習，有良好的團隊協作精神，勇於接受挑戰並能夠承受壓力，樂於和團隊分享技術

大資料運維工程師的工作職責 篇16

職責：

1、熟悉基礎網路知識，熟悉TCP/IP協議工作原理;

2、熟悉WEB相關技術，包括Apache/Nginx/tomcat、Memcached/redis/mysql等應用服務的安裝、配置和維護;

3、熟悉伺服器硬體，具備系統、應用軟體的報錯及故障定位、處理的能力;

4、檢測、跟蹤和分析流行安全漏洞、設計和實施防禦方案。

任職要求：

1、專科及以上學歷，專業不限;

2、有linux理論基礎，熱愛技術崗位，能夠及時補充自己技術缺陷;

3、有團隊意識，責任心強，對自己有一定的規劃;

4、至少掌握Shell/Python其中一種指令碼程式設計;

5、批量、自動化管理伺服器叢集的能力，有較強的技術文件總結性工作的經驗。

大資料運維工程師的工作職責 篇17

職責：

1.負責卡中心開發測試環境的日常管理和維護工作。

2.負責與開發中心的開發人員溝通資源需求、統計資源狀態。

3.負責KVM虛擬化的的日常運維，包括資源擴容、虛擬機器分配、虛擬機器效能優化、虛擬機器遷移、P2V、映象製作等操作。

4.負責IaaS平臺，包括問題描述跟進、配合廠商分析問題、測試和解決。

5.協助對雲端計算平臺進行日常的配置管理、更新、維護，負責系統架構和應用架構與雲端計算平臺整合。包括伺服器安裝、應用部署、服務監控、故障處理。

6.負責開發測試虛擬機器作業系統和資料庫中介軟體的維護，負責基礎軟體的安裝和配置。

7.負責總結經驗，編寫或修改文件，完善操作手冊及知識庫。

職位要求：

1.精通Linux作業系統，熟悉shell或python程式設計。

2.精通OpenStack整體架構，具備基於OpenStack實戰部署運維經驗。

3.精通KVM虛擬化，熟悉KVM、QEMU、libvirt、VirtIO虛擬化相關管理操作命令。

4.熟悉MySQL、postgreSQL等資料庫維護。

5.熟悉nginx/redis以及負責均衡、web中介軟體的維護。

6.具有豐富的虛擬化故障應急處理能力與經驗，動手能力強，分析、歸納水平高，具備精確快速的故障定位和處理能力。

7.熟悉基礎二層網路、路由網路及虛擬化網路相關配置。

大資料運維工程師的工作職責 篇18

1、負責現有軟體系統的執行維護及監控，提供IT軟硬體方面的服務和支援，保證系統的穩定，包括但不限於日常巡檢、問題排查、跟蹤和統計;

2、負責公司軟體系統的上線測試、協調、驗收和實施工作;

3、負責公司軟體系統關鍵使用者和使用使用者的日常培訓工作，制定詳細培訓計劃，及時解決或協調解決使用者使用系統過程中遇到的問題;

4、熟練掌握主流資料庫(SqlServer、mysql);

5.負責伺服器網路、防火牆、系統安全、病毒防護方案的部署與管理;

6工作積極主動、認真負責、勤勉、踏實、能吃苦的、可適應全國性短期出差。

大資料運維工程師的工作職責 篇19

1.負責Hadoop相關專案日常執行維護、故障排查工作;

2.負責Hadoop叢集的監控和配置調優工作;

3.負責Hadoop平臺的使用者管理、許可權分配、資源分配;

4.負責叢集伺服器軟體的安裝、維護、部署、更新;