在日常的學習、工作、生活中,肯定對各類范文都很熟悉吧。范文書寫有哪些要求呢?我們怎樣才能寫好一篇范文呢?接下來小編就給大家介紹一下優(yōu)秀的范文該怎么寫,我們一起來看一看吧。
大數據架構師崗位職責篇一
1、正確理解業(yè)務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據進度計劃,完成所承擔功能模塊的設計、開發(fā)、單元測試、聯調測試;
4、配合測試組修復代碼缺陷,確保功能實現與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的日常維護;
6、完成項目經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業(yè),兩年以上大數據開發(fā)經驗;
2、熟悉linux 環(huán)境,掌握shell或python;
3、熟練使用hadoop,hive,hbase,yarn,kafka,spark等大數據開發(fā)組件;
4、精通 etl,數據倉庫的設計和開發(fā);
5、有大數據處理實戰(zhàn)經驗,熟悉整個大數據的完整處理流程,包括數據的采集、清洗、存儲;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。
大數據架構師崗位職責篇二
職責:
1. 負責設計企業(yè)級大數據平臺的整體架構,從技術層面制定清晰的大數據產品與系統技術架構,并負責實現關鍵技術和產品。
2. 負責設計具有創(chuàng)新價值的大數據底層平臺、大數據上層應用系統等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發(fā)展方向,突破現有的技術難題。
4. 負責研究院對外項目合作協調與支持,編寫項目建設方案及后期項目建設支持。
任職要求:
1. 碩士及以上學歷,計算機相關專業(yè)。
2. java基礎扎實,不少于8年的一線開發(fā)經驗,精通spring boot/mybatis/restful api的開發(fā)與管理. 熟悉reactjs/angular/vue之一前端開發(fā)技術,熟悉maven或ant.,熟悉python語言開發(fā)加分。
3. 不少于4年大數據的直接研發(fā)經驗,精通hadoop/spark系統,有hands-on的架構設計、性能調優(yōu)、開發(fā)經驗。有mongodb、kafka、hbase/cassandra/storm/hive 等系統的開發(fā)經驗。
4. 掌握分布式系統原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。
5. 熟悉分布式系統的監(jiān)控、運維、故障恢復,高可用原理和設計理念。
6. 算法基礎扎實,熟悉常見的數據結構,掌握大規(guī)模高并發(fā)訪問、大數據開發(fā)等處理經驗;熟練的linux系統, 網絡, 內存和存儲等方面知識。
7. 必須要有千萬級別的項目管理經驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。
大數據架構師崗位職責篇三
職責:
1、負責大數據項目平臺架構的評估、規(guī)劃和設計
2、開發(fā)大數據平臺的核心模塊代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,保證大數據產品的上線運行
3、根據業(yè)務需求整合優(yōu)化數據架構,保證產品的可靠性、穩(wěn)定性
4、指導開發(fā)人員完成數據模型規(guī)劃建設,分析模型構建及分析呈現
5、深入研究大數據相關技術和產品,跟進業(yè)界先進技術;
6、根據項目要求編寫相關技術文檔;
7、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
8、負責核心模塊研發(fā),負責大數據平臺的搭建,完成系統調試、集成與實施;
9. 負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 poc ;
11. 指導工程師完成開發(fā)工作,并能分享技術經驗。
任職資格:
1、精通linux操作系統,熟練使用java;
2、3年以上大數據項目實戰(zhàn)經驗,兩個項目的架構設計經驗,熟悉hadoop、hbase、storm、spark、pig等開源框架,并熟悉其工作原理;
3、有hadoop、spark、hbase平臺性能調優(yōu)經驗;
4、熟悉其它分布式存儲相關技術,包括hdfs,hive、redis、mongodb、 flume、kafaka、sqoop、zookeeper、elasticsearch等;
5、熟悉java開發(fā)常用框架.如spring、mybatis等;
6、熟悉關系型數據庫如oracle及數據庫編程。
7、能夠根據項目情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經驗。
大數據架構師崗位職責篇四
職責:
1. 負責大數據基礎平臺、海量數據存儲/處理分布式平臺、數據分析系統架構設計和研發(fā);
2. 負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數據倉庫設計及實現規(guī)范,指導設計研發(fā)和部署;
4. 協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品,跟進業(yè)界先進技術。
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統研發(fā)經驗,3年以上大數據系統架構經驗;
2. 精通hadoop/hbase/spark/storm/redis技術及其生態(tài)圈;
3. 具備java/c++/scala等開發(fā)經驗,熟悉數據挖掘和分析的策略與算法;
4. 具備良好的系統分析能力、故障診斷能力;
5. 有大數據策略、算法、可視化經驗優(yōu)先;
6、211/985 重點學校畢業(yè)優(yōu)先。
大數據架構師崗位職責篇五
職責:
1、負責規(guī)劃大數據平臺及應用產品的需求和技術方案設計;
2、負責數據對接和對外服務設計、開發(fā)和維護,并能保證質量和性能;
3、負責基于大數據平臺的應用設計、開發(fā)和維護;
4、能從系統全局和各子系統的角度思考可能存在的問題,并提出改進方案建議;
任職要求:
1、大學本科6年以上工作經驗,計算機相關專業(yè)。
2、至少4年以上的java開發(fā)經驗,3年以上大數據應用系統的開發(fā)和設計經驗。
3、熟悉hadoop生態(tài)圈技術體系, 對離線計算、內存計算和流式計算均有深刻理解, 如hadoop、storm、spark三個中的任意二個, 能進行平臺和組件優(yōu)化。
4、精通hive、hbase倉庫設計,深刻理解mr運行原理和機制,能進行以提供高任務執(zhí)行效率的優(yōu)化。
5、精通java開發(fā),熟悉jvm調優(yōu), 對gc有深刻理解。
6、熟悉linux、shell、kafka、oracle、mysql、redis等相關技術, 能進行hbase可靠性診斷和維護。
7、快速研究和學習技術能力。
大數據架構師崗位職責篇六
職責:
1、從事電信行業(yè)大數據項目相關業(yè)務調研、產品標準建設、核心模型設計和優(yōu)化、系統測試等相關工作
2、與數據專業(yè)委員會一起研究數據建模方案和建模工具,負責產品線產品的數據架構、數據模型設計
3、參與研究數據庫之間的數據轉換方式,參與項目中的數據移植工作,收集在項目中的數據移植經驗,優(yōu)化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作,建立數據模型團隊
崗位要求:
1、統招本科學歷,3年以上主流數據上(db2、oracle、sqlserver、mysql等)etl設計、開發(fā)經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通sql,有較好的sql性能調優(yōu)經驗;
2、擁有python,r等數學建模工具的使用經驗,并具備一定的數據處理和建模經驗,可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進行完整的解釋和說明;
3、熟悉統計學基本原理,做過實戰(zhàn)的數據建模項目;
4、有分布式數據倉庫建設相關經驗者優(yōu)先,具備電信行業(yè)數據倉庫建設相關經驗者優(yōu)先;
大數據架構師崗位職責篇七
職責:
1. 規(guī)劃設計大數據平臺整體架構,規(guī)劃各種組件,并且指導技術團隊完成相關系統驗證、安裝、部署、配置;
2. 負責制定大數據平臺技術規(guī)范和接口規(guī)范,指導研發(fā)團隊按照規(guī)范進行系統開發(fā);
3. 配合商務人員完成售前技術支持工作;
4. 完成其他與數據應用有關的技術工作;
任職要求:
1. 計算機相關專業(yè)本科學歷,5年以上工作經驗;
2. 對大數據技術棧有非常深刻的了解;具備架構設計的實際經驗;
3. 對信息安全架構設計及實施有一定的經驗;
4. 熟悉linux、windows等操作系統的安裝配置;
5. 熟悉互聯網應用的安裝配置;熟悉常見大數據技術棧組件的安裝配置;熟悉visio等繪圖工具的使用;
6. 有衛(wèi)生信息化建設經驗者優(yōu)先;有容器安裝部署經驗者優(yōu)先。
大數據架構師崗位職責篇八
職責:
根據大數據業(yè)務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規(guī)模持續(xù)、穩(wěn)定、高效平穩(wěn)運行;
負責大數據業(yè)務的設計和指導具體開發(fā)工作;
負責公司產品研發(fā)過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業(yè)務數據建模。
職位要求:
計算機、自動化或相關專業(yè)(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如 hadoop、hive、spark等);
熟悉 mysql、nosql(mongodb、redis)等主流數據庫,以及rabbit mq等隊列技術;
熟悉hadoop/spark生態(tài)的原理、特性且有實戰(zhàn)開發(fā)經驗;
熟悉常用的數據挖掘算法優(yōu)先.
大數據架構師崗位職責篇九
職責:
1、負責公司的大數據處理框架的研發(fā)設計工作,梳理可實現方案和技術規(guī)范;
2、開發(fā)、完善公司大數據平臺;參與公司離線、實時大數據處理系統的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;
3、負責業(yè)務平臺數據統計分析模塊的設計與規(guī)劃;
4、負責公司產品研發(fā)過程中的數據及存儲設計;
5、帶領和培養(yǎng)團隊完成組織分解的目標;
任職要求:
1、統招本科及以上學歷,計算機、軟件工程相關專業(yè),至少8年以上工作經驗,5年以上大數據開發(fā)經驗;
2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相關技術的基礎架構
3、熟悉數據倉庫,數據算法,分布式計算技術理論,具有大數據整體系統架構設計經驗;
4、熟悉linux系統,熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;
6、能夠組織項目開發(fā)組協同工作,包括團隊溝通、計劃、開發(fā)環(huán)境管理等
大數據架構師崗位職責篇十
職責:
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發(fā)與交付;
負責大數據產品架構的持續(xù)優(yōu)化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規(guī)劃、數據建模、數據庫設計以及大數據產品研發(fā)工作;
為應用開發(fā)團隊提供技術支撐。
任職要求:
本科及以上學歷,3年以上的大數據開發(fā)經驗、
2年以上大數據架構設計經驗;
豐富的java研發(fā)經驗,精通java,熟悉python scala等編程語言;具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
熟悉整個大數據的完整處理流程(數據的采集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);
精通各種大數據相關技術體系:hadoop、spark、storm、elasticsearch、kafka;
有數據挖掘、機器學習相關應用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
大數據架構師崗位職責篇十一
職責:
1.負責過多個大數據項目的架構;
2.精通hadoop、spark, hbase等主流的大數據平臺、精通各組件優(yōu)化設計原理;
3.精通大數據實時流式處理的設計和應用;
3.熟悉大數據平臺調優(yōu),具備大數據生產平臺調優(yōu)經驗;
4.金融行業(yè),運營商行業(yè)大數據架構經驗更優(yōu);
5.研究大數據技術的最新發(fā)展,并引入到公司技術架構;
6.指導大數據工程師的日常工作,并培養(yǎng)技術骨干。
任職資格:
1.計算機相關專業(yè)本科或以上學歷;
2.具有5年以上大數據相關開發(fā)經驗;
3.具有2年以上帶團隊經驗
4.對hadoop/hive/spark/hbase/es等等大數據常用技術有深刻理解,能夠帶領團隊進行技術攻堅,完成中間件的實施、改造、調優(yōu);
5.精通海量數據和實時數據的分析處理,能對線上的數據處理性能問題做調優(yōu);
6.精通數據倉庫以及維度建模原理,有大型數據倉庫建設經驗;
7.精通關系型數據庫和nosql數據庫的使用,熟悉相關理論;
8.溝通順暢,重點突出,高效。
大數據架構師崗位職責篇十二
職責:
1、負責大數據平臺的技術選型,基于spark、hadoop大數據平臺建設和開發(fā);
2、完成包括數據模型設計、數據采集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;
3、構建數據中臺,為多種行業(yè)應用提供主數據(畫像標簽/關系圖譜)、數據模型、人工智能業(yè)務算法及數據服務。
4、對海量數據處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);
5、帶領大數據技術團隊提供并實現大數據平臺上各項數據分析和數據可視化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大數據架構設計和開發(fā)經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業(yè)從事大數據架構設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統設計經驗、主導過大型商業(yè)軟件的架構設計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數據的完整處理流程,包括數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;
3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數據庫的使用,并能進行性能調優(yōu);
4、具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。
大數據架構師崗位職責篇十三
職責:
1、負責企業(yè)大數據平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數據平臺相關自動化服務工具的設計、開發(fā);
3、參與hadoop、hbase、spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統招本科以上學歷,計算機等相關專業(yè),5年以上工作經驗;
2、具有hadoop等大規(guī)模集群管理經驗、海量(pb)數據處理經驗;
3、精通hadoop、hive、hbase等離線平臺相關組件的原理機制;
4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統;
5、熟悉高并發(fā)、分布式開發(fā)等相關知識,具有后端服務優(yōu)化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數據架構師崗位職責篇十四
職責:
1、負責大數據平臺架構的規(guī)劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、參與企業(yè)級大數據產品和應用規(guī)劃;
4、研究跟進大數據架構領域新技術并分享;
5、大數據處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
2、熟悉bi平臺架構及相關項目標準,大數據解決方案包括hadoop、spark、storm、機器學習等大數據平臺解決方案;
3、熟悉mysql/postgresql/oracle/mongodb/redis等主流數據數據庫;
4、 精通linux/unix環(huán)境,精通j java、scala、python、r中的一種或多種語言;
5、 具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
6、大專及以上學歷,3年及以上工作經驗。
大數據架構師崗位職責篇十五
職責:
1.負責企業(yè)數據中心建設,設計數據邏輯模型和物理模型,并完成相關開發(fā)
2.梳理公司各業(yè)務線常用的指標和維度,統一指標定義口徑
3.根據數據應用開發(fā)和數據分析需求,設計數據倉庫信息層模型,提高數據開發(fā)的效率
4.負責數據模型的運營和優(yōu)化,及時響應業(yè)務邏輯變更,保證模型的數據質量和穩(wěn)定性
5.負責公司數據標簽體系的建設,并推動標簽體系在實際業(yè)務場景中落地
崗位要求:
1.5年以上dw/bi數據架構設計、模型設計和性能調優(yōu)等相關經驗
2.有較強的數據分析能力,精通數據倉庫架構,熟悉erwin或powerdesigner建模工具
3.精通一種主流關系數據庫(如mysql等),熟悉hive開發(fā)
4.有電商業(yè)務經驗,元數據管理,數據質量管理或標簽體系搭建經驗者優(yōu)先
5.優(yōu)秀的協調溝通與團隊協作能力,極強的責任心,能承受一定的工作壓力,認同企業(yè)文化和團隊價值
大數據架構師崗位職責篇十六
職責:
1、負責大數據項目技術架構評估與設計;
2、負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成poc;
4、指導工程師完成開發(fā)工作,并能分享技術經驗。
任職要求:
1、3年以上相關工作經驗,其中具有1年以上架構設計經驗
2、熟悉商業(yè)智能系統相關技術,如 etl、數據倉庫、olap開發(fā);
3、精通設計模式,熟悉面向服務架構(soa)以及其它常用軟件架構思想,有soa方案設計、開發(fā)實施的實際經驗,要具備實際的服務規(guī)劃、服務粒度劃分經驗;并且要善于設計可重用組件和可定制化產品。
4、相關技術棧:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;
5、有扎實的計算機基礎,熟悉java等編程語言;
大數據架構師崗位職責篇十七
職責:
1、負責大數據開發(fā)團隊建設;
2、負責行業(yè)大數據產品架構設計與研發(fā);
3、負責帶領團隊進行行業(yè)大數據產品關鍵技術攻關。
任職要求:
1、有三年以上大數據應用、開發(fā)經驗;具備海量數據加工處理(etl)相關經驗,對數據挖掘及機器學習有較為深刻的理解;
2、熟悉hadoop相關技術,對hdfs、mapreduce、hive、hbase有一定的使用和開發(fā)經驗;
3、熟悉linux,熟練使用shell或python,進行腳本編寫;
4、對數據結構和數據統計分析算法有較為深刻理解;
5、掌握至少一種主流關系數據庫開發(fā)技術:oracle、sql server、mysql等;
6、掌握實時流計算技術,有spark、storm開發(fā)經驗者優(yōu)先;
7、需要具備2年以上研發(fā)團隊管理經驗。
大數據架構師崗位職責篇十八
職責:
1. 負責產品級業(yè)務系統架構(如業(yè)務數據對象識別,數據實體、數據屬性分析,數據標準、端到端數據流等)的設計與優(yōu)化。協助推動跨領域重大數據問題的分析、定位、解決方案設計,從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統質量負責。
2.負責云數據平臺的架構設計和數據處理體系的優(yōu)化,推動云數據平臺建設和持續(xù)升級,并制定云數據平臺調用約束和規(guī)范。
3. 結合行業(yè)應用的需求負責數據流各環(huán)節(jié)上的方案選型,主導云數據平臺建設,參與核心代碼編寫、審查;數據的統計邏輯回歸算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。
4. 對云數據平臺的關注業(yè)內技術動態(tài),持續(xù)推動平臺技術架構升級,以滿足公司不同階段的數據需求。
任職要求:
1. 熟悉云計算基礎平臺,包括 linux(ubuntu/centos)和 kvm、openstack/k8s 等基礎環(huán)境,熟悉控制、計算、存儲和網絡;
2. 掌握大型分布式系統的技術棧,如:cdn、負載均衡、服務化/異步化、分布式緩存、nosql、數據庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。
3. 精通 java,python,shell 編程語言,精通 sql、nosql 等數據庫增刪改查的操作優(yōu)化;
4. pb 級別實戰(zhàn)數據平臺和生產環(huán)境的實施、開發(fā)和管理經驗;
5. 熟悉 docker 等容器的編排封裝,熟悉微服務的開發(fā)和日常調度;
6.計算機、軟件、電子信息及通信等相關專業(yè)本科以上學歷,5 年以上軟件工程開發(fā)經驗,2 年以上大數據架構師工作經驗。
大數據架構師崗位職責篇十九
職責:
1、負責大數據平臺及bi系統框架設計、規(guī)劃、技術選型,架構設計并完成系統基礎服務的開發(fā);
2、負責海量埋點規(guī)則、sdk標準化、埋點數據采集、處理及存儲,業(yè)務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;
3、開發(fā)大數據平臺的核心代碼,項目敏捷開發(fā)流程管理,完成系統調試、集成與實施,對每個項目周期技術難題的解決,保證大數據產品的上線運行;
4、負責大數據平臺的架構優(yōu)化,代碼評審,并根據業(yè)務需求持續(xù)優(yōu)化數據架構,保證產品的可靠性、穩(wěn)定性;
5、指導開發(fā)人員完成數據模型規(guī)劃建設,分析模型構建及分析呈現,分享技術經驗;
6、有效制定各種突發(fā)性研發(fā)技術故障的應對預案,有清晰的隱患意識;
7、深入研究大數據相關技術和產品,跟進業(yè)界先進技術;
【任職要求】
1、統計學、應用數學或計算機相關專業(yè)大學本科以上學歷;
2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點sdk獨立開發(fā)經驗者優(yōu)選;
3、熟悉hadoop,mr/mapreduce,hdfs,hbase,redis,storm,python,zookeeper,kafka,flinkhadoop,hive,mahout,flume,elasticsearch,kafkapython等,具備實際項目設計及開發(fā)經驗;
4、熟悉數據采集、數據清洗、分析和建模工作相關技術細節(jié)及流程
5、熟悉liunx/unix操作系統,能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/c++中一種或多種編程語言
6、具備一定的算法能力,了解機器學習/深度學習算法工具使用,有主流大數據計算組件開發(fā)和使用經驗者優(yōu)先
7、熟悉大數據可視化工具tableau/echarts
8、具有較強的執(zhí)行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
大數據架構師崗位職責篇二十
職責:
1、大數據平臺的規(guī)劃、設計、實施,并優(yōu)化數據庫;
2、對數據庫進行管理,負責數據庫應用系統的運營及監(jiān)控;
3、對數據庫性能分析與調優(yōu),排錯,保證數據正確率;
4、配合其他部門進行的數據處理、查詢,統計和分析工作;
5、完成公司下達的項目開發(fā)任務。
任職要求:
1、計算機及相關專業(yè)本科以上學歷,5年以上軟件開發(fā)從業(yè)經驗,其中包括至少2年以上的大數據開發(fā)工作經驗;
2、熟悉hive,hadoop/spark,hbase等大數據相關技術架構,有管理或優(yōu)化大型分布式集群經驗;
3、熟悉linux基本命令,精通sql腳本的編寫,有豐富的數據庫管理、運維調優(yōu)經驗;
4、熟悉c++、java、c#等開發(fā)語言;
5、有互聯網電商行業(yè)大數據分析處理和大型數據倉庫的設計和實施經驗;
6、有分布式系統分析及架構設計經驗和大型計算集群的基礎設施開發(fā)維護經驗;
7、快速處理系統突發(fā)事件的能力,較強的學習和創(chuàng)新能力;
8、良好的溝通能力和團隊合作精神。
大數據架構師崗位職責篇二十一
職責:
1)負責大數據平臺系統架構設計、核心開發(fā)工作(hadoop&spark技術方向),基于業(yè)務場景設計最優(yōu)的系統解決方案。
2)構架支持大數量級的數據的大數據平臺系統,及相關監(jiān)控,拓展系統設計及實現。
3)利用hadoop、spark等大數據技術對海量數據進行處理,支持bi和數據科學(建模)的應用實現。
4)對現有系統的進行架構深入分析及系統優(yōu)化,進一步提升系統的性能及數據處理能力。
任職資格
1)統招本科或以上學歷,計算機相關專業(yè), 5年以上軟件開發(fā)經驗、3年以上大數據項目經驗。
2)具備較豐富的大數據平臺相關構建,維護及調優(yōu)經驗,有大數據量級下的大數據集市相關經驗。
3)具備較豐富的基于hadoop或hive或spark等大數據處理項目經驗,具備一定的數據挖掘經驗。
4) 具有阿里云的emr(emapreduce)的經驗者優(yōu)先考慮。
5)具有良好的業(yè)務理解、溝通和協作能力,具有較強的學習和總結能力。
6)優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
7)機器學習技術、數據挖掘經驗豐富者優(yōu)先考慮。