資料採集工程師崗位職責（通用23篇）

資料採集工程師崗位職責 篇1

1.嵌入式bootloader，kernel開發；

2.工業通訊協議解析等；

ows/linux平臺閘道器應用層程式開發；

4.閘道器產品的軟體功能測試驗證；

5.工業閘道器產品軟體sdk及library開發。

資料採集工程師崗位職責 篇2

1.負責工業裝置組網及資料採集方案設計；

2.負責設計方案所需感測器、儀表選型，佈線圖、資料儲存方式、資料表等詳細設計；

3.負責與裝置廠商、數控系統廠商進行業務協議、通訊協議及介面協調；

4.負責現場資料採集相關軟硬體安裝除錯；

5.負責和使用者現場對口協調、技術指導及現場培訓。

資料採集工程師崗位職責 篇3

1.資料採集系統和分散式爬蟲系統的架構設計和開發

2.對接外部資料服務商提供的資料及資訊服務，實現資料的'有效沉澱，建立資料服務評估機制

3.負責大規模文字、影象、視訊資料的抓取、抽取，去重、分類，垃圾過濾，質量識別等工作

4.研究各種目標網站的形態，網際網路特徵挖掘，發現它們的特點和規律

資料採集工程師崗位職責 篇4

1.負責linux平臺下應用軟體開發，根據產品與專案要求，開展模組設計.編碼等工作；

2.負責linux軟體的交叉編譯與移植；

3.參與需求分析.軟體設計.開發.除錯以及測試維護全過程；

4.負責協同硬體工程師或第三方方案商完成系統功能模組的聯調及功能對接.介面文檔案輸出；

5.負責嵌入式系統軟體平臺搭建工作；

資料採集工程師崗位職責 篇5

崗位職責：

業務資料的收集整理和分析;

負責公安、交通領域的業務建模和演算法設計;

分析專案資料需求，完成系統中資料分析模組的設計、實現和測試;

設計、構建和優化基於大資料的儲存平臺架構，編寫相關技術文件;

設計並實現基於開源專案(Cobar，Spark等)的海量資料整合與處理平臺;

為其他部門提供資料分析支撐。

任職資格：

計算機相關專業;

熟悉資料探勘演算法，對分類、聚類、時序、圖等演算法有很深瞭解;

熟練掌握Hadoop、Spark生態系統元件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相關大資料架構,開發成功案例;

熟練的使用、開發ETL工具經驗，有資料庫建模ER建模經驗優先;

有海量資料BI或資料探勘專案實施和管理經驗，對資料探勘理論方法有一定了解者優先;

熟悉的Bash Shell和Python等指令碼程式設計能力;

強烈的責任心和工作熱情，良好的團隊合作精神。

資料採集工程師崗位職責 篇6

崗位職責:

1.從事數學建模及資料探勘應用方法研究;

2.與開發部門配合實現相應的資料分析模組的開發;

3.制定公司資料可管理體系,建產研究用資料平臺。

任職要求:

1.應用數學、統計學、計算機等專業碩士以上學歷;

2.具備常用機器學習、資料探勘相關知識,會spark;

3.具備一種或多種開發語言(如scalapython java等)的.程式和演算法開發能力,掌握常用資料結構和演算法;

4.有視訊、地圖、文字、社交等大資料分析能力;

5.有工業資料分析工作經驗者優先。

資料採集工程師崗位職責 篇7

1、負責生產環境Mysql資料庫系統高可用、高效能架構方案，分庫分表策略，資料庫擴充套件方案;

2、排查資料庫故障，分析和解決疑難問題，提出預防方案;

3、制定資料庫監控策略、備份策略、容災策略，探查系統潛在的問題和可能的效能瓶頸並進行優化;

4、對開發工程師的SQL語句進行稽核及SQL優化;

5、負責redis、memcache等非關係資料庫的管理和擴充套件，能夠根據業務需求完成系統設計、架構設計工作;

6、參與前瞻性新技術研究，解決資料庫相關疑難問題。

資料採集工程師崗位職責 篇8

1.高質量地完成集團內外各類資料生產整合、資料分析應用建設工作，涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;

2.需求及源系統資料分析，完成資料倉庫/EDM等系統資料模型及應用模型設計、資料Mapping規則文件撰寫、開發、自測及上線部署;

3. 資料質量稽核、問題分析及處理,優化資料處理程式;

4. 洞察資料、滿足業務場景需求。

資料採集工程師崗位職責 篇9

1、3年以上etl開發經驗，熟悉etl開發規範和流程；

2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

3、熟練編寫儲存過程，擅長sql優化；

4、熟悉oracle、sqlserver等常用資料庫中的`一個或多個；

5、熟悉perl、shell指令碼，linux作業系統；

6、有大型資料倉庫、bi相關專案的開發經驗，精通架構、建模者優先；

7、熟練使用erwin或powerdesigner等進行資料建模；

8、以下經驗優先考慮：流式處理、日誌處理、資料倉庫全日制本科以上學歷（985/211），電腦科學與技術/軟體工程/資料相關專業

1、3年以上etl開發經驗，熟悉etl開發規範和流程；

2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

3、熟練編寫儲存過程，擅長sql優化；

4、熟悉oracle、sqlserver等常用資料庫中的一個或多個；

5、熟悉perl、shell指令碼，linux作業系統；

6、有大型資料倉庫、bi相關專案的開發經驗，精通架構、建模者優先；

7、熟練使用erwin或powerdesigner等進行資料建模；

8、以下經驗優先考慮：流式處理、日誌處理、資料倉庫

資料採集工程師崗位職責 篇10

1、針對具體的業務場景需求、定義資料分析及挖掘問題;

2、使用統計學分析方法、挖掘演算法、構建有效且通用的資料分析模型，對資料探勘方案進行驗證、開發、改進和優化，實現資料探勘的功能應用;

3、搭建高擴充套件高效能的資料分析模型庫，作為資料分析團隊的基礎工具;

4、完成領導安排的其他工作。

資料採集工程師崗位職責 篇11

資料處理工程師崗位職責

資料處理工程師1）直接面對客戶，參與專案運作中資料處理，瞭解客戶軟硬體要求；

2）參與、協助資料收集和模型建構；

3）安裝、除錯公司軟體在客戶端上線；

4）開發常用資料處理功能，幫助業務團隊提高工作效率；

5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支援。·計算機或軟體相關專業，本科及以上學歷；

·掌握兩門以及常見資料庫設計開發技術，mysql、oracle、sqlserver、hive等；

·具有參加過etl開發專案，處理過（大）資料經驗優先；

·工作細心、認真負責且善於溝通，能快速理解業務，對資料敏感，並能主導專案的進度，保證團隊產出。1）直接面對客戶，參與專案運作中資料處理，瞭解客戶軟硬體要求；

2）參與、協助資料收集和模型建構；

3）安裝、除錯公司軟體在客戶端上線；

4）開發常用資料處理功能，幫助業務團隊提高工作效率；

5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支援。

資料採集工程師崗位職責 篇12

職責描述：

1、負責文字資料處理，如格式轉換、分詞處理、實體抽取、專業詞典整理等；

2、自然語言處理相關工具開發；

3、協助訓練nlp模型。

任職要求：

1、計算機相關專業（本科2年以上）；

2、精通c/c++或java，熟悉python、bash？shell等指令碼語言；

3、熟悉正則表示式，瞭解常用分類、聚類演算法及相應工具；

4、熟悉使用基本分類、聚類演算法及相應工具；

5、具備nlp相關工作（特別是資料處理與分析）經驗，瞭解nlp基本知識；

6、其他：耐心、細緻；較強的邏輯思維能力；性格踏實穩定，抗壓能力強。

資料採集工程師崗位職責 篇13

1、利用資料倉庫建模及相關技術，參與資料倉庫模型的設計。

2、參與企業級大資料倉庫專案的落地開發。

3、參與企業級主資料管理專案的實施落地。

4、利用hadoop生態相關技術，負責大資料中心的'資料處理流程，包括資料清洗、融合、統計、挖掘等。

資料採集工程師崗位職責 篇14

1、負責資料倉庫的設計、開發、部署、維護和優化;

2、參與公司專案資料庫架構設計,及相關文件的撰寫;

3、協助開發完成資料庫表的設計以及SQL調優,給開發人員提供SQL調優指導;

4、負責資料庫技術規範建設。

資料採集工程師崗位職責 篇15

1. 參加團隊會議與討論，並給予有意義的建議;

2. 協助後端團隊和架構師完成資料庫相關的設計與開發;

3. 協助業務部門抓取、分析資料。

資料採集工程師崗位職責 篇16

1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;

2、負責分析挖掘客戶/行業對大資料產品的需求(應用場景)，利用資料分析結論提升客戶業務能力。例如：文字挖掘，潛在客戶挖掘，使用者畫像，個性化推薦，用能預測等;

3、進行大資料場景下的資料統計、資料探勘、機器學習、深度學習，包括資料整理、模型建立、模型應用、評估優化等;

4、將客戶需求準確轉化為可執行的數學模型，針對不同的應用場景，負責編寫資料探勘演算法及對其的優化;

5、基於需求分析/運營支援/商業報告等成果，抽取典型使用者/客戶/行業/產品分析模型並與開發團隊溝通實施方案及構建產品原型。

崗位要求：

1、本科以上學歷，紮實的`機器學習、資料探勘、統計學理論基礎;有統計、應用數學、金融等相關專業背景優先;

2、精通常見機器學習演算法(如邏輯迴歸、SVM、神經網路、決策樹、貝葉斯等)，有實際建模經驗，掌握深度學習演算法優先;

3、具有紮實的計算機作業系統、資料結構等程式設計基礎，精通至少一門程式語言例如JAVA/python/R等;

4、熟悉Map-Reduce模型，對Hadoop、Spark、Storm等大規模資料儲存與運算平臺有實踐經驗優先。

資料採集工程師崗位職責 篇17

1、負責應用平臺維護，保證其有效執行;

2、負責業務資料的挖掘、整合以及分析模型的建立、優化和評估;為業務人員日常工作提供可靠而明確的資料支撐;

3、負責報表相關功能的設計、開發工作，並負責報表優化、維護、資料採集;

4、負責系統相關文件的制定和編寫。

5、有實際的MY SQL或Oracle等資料庫開發相關工作經歷，具有高階工程師技術能力;

6、有良好的溝通協調能力，能與客戶及專案組同事有效的溝通;

7、能夠獨立分析客戶需求，並能針對客戶需求編寫需求分析、設計等技術方案;

8、熱愛軟體事業，具有較強的責任感,有快速掌握新技術和獨立解決技術問題的能力;

資料採集工程師崗位職責 篇18

1.負責資料分析,資料探勘相關的演算法、應用的設計與開發;

2.負責公司產品各階段資料的整理、分析、挖掘及提交資料報告，重點對車輛行為資料進行分析和挖掘，利用資料分析結論推動業務產品的優化;

3.對海量業務資料進行整合、分析挖掘，挖掘產品以及使用者潛在資訊，為營銷、運營及決策提供業務分析及資料支援。

資料採集工程師崗位職責 篇19

1.依據專案需求建構資料萃取與轉換流程

2.挖掘資料特徵，進行資料和特徵融合

3.搭建數學模型，並對模型進行檢驗評估

職位要求：

1、計算機、數學、統計、人工智慧等相關專業的碩士或以上學歷;

2、二年以上資料探勘、機器學習相關工作經驗，熟悉python、spark、pandas、sklearn等資料分析工具者優先;

3、熟練掌握貝葉斯、隨機森林、深度學習等機器學習演算法;

4、突出的分析問題和解決問題能力，自我驅動，並且具備較強的學習能力、創新應用能力及溝通協調能力，有良好的'團隊合作意識;

5、有國際背景或能熟練使用英文溝通者優先

資料採集工程師崗位職責 篇20

1、負責資料接入、資料提取、資料清洗、底層重構、業務主題建模等工作;

2、參與資料集市開發，使用者畫像標籤開發;

3、負責介面平臺、自助分析平臺等系統的建設和維護;

4、針對具體大資料應用場景，提供有效解決方案，並針對具體模型落地實施;

資料採集工程師崗位職責 篇21

•識別，分析和解決計劃支援問題。

•與BU利益相關者合作，確定並優先考慮資料和統計要求，包括要收集的特定資料元素。

•協助開發和實施資料庫，資料收集系統/工具，資料分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。

•分析大量資料集，提出有見地的業務建議。

•通過檢視報告和績效指標來確定和糾正資料收集問題，從而確保資料的準確性和完整性。

•識別，分析，解釋和建模資料湖中資料的趨勢或模式。

•為各種受眾設計和生成準確有效的統計資料視覺化產品和報告。

•通過促進技術和非技術利益相關者之間的溝通，確保技術團隊瞭解計劃和業務工作的短期和長期目標

•準時交付優質，易懂，明確的產品。

•參與構建機器學習策略平臺。

•對資料驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

•促進技術和非技術利益相關者之間交流的能力

•出色的書面和口頭交流能力。

資料採集工程師崗位職責 篇22

崗位職責：

1、對通訊和金融業務資料進行分析和挖掘，滿足研發和運營等部門的業務需求和決策需求;

2、能根據業務特點選擇最合適的資料探勘演算法，並做調優;

3、支援資料分析、挖掘演算法平臺的部署和日常運營;

4、撰寫分析類報告。

任職資格：

1、大學本科或本科以上統計學、數學或其他相關專業，對資料結構熟悉;

2、熟練使用python進行資料分析、處理、視覺化。熟悉numpy/pandas/matplotlib等常用模組。熟練使用sql,最好用過hive-sql或spark-sql;

3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;

4、對線性迴歸，決策森林，xgboost，評分卡等資料探勘相關演算法有一定了解;

5、做過web介面除錯，熟悉json者優先;

6、熟練掌握PPT和EXCEL製作;

7、具備良好的學習、溝通與表達能力，具有較強的團隊合作精神，對工作富有熱情，能承受工作壓力;

8、有運營商或金融類相關資料經驗工作優先考慮;

9、能適應中長期現場出差。

資料採集工程師崗位職責 篇23

1、參與資料倉庫建設，負責資料倉庫模型設計；

2、開發高質量可擴充套件的底層資料倉庫體系；

3、負責資料倉庫系統與業務系統的介面設計和確認工作；

4、負責資料平臺相關的管理工作，如資料研發規範、資料質量及穩定性保證等建設；

5、參與公司各個業務線BI、資料產品與應用的資料研發，發覺資料潛在價值。