職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責:
1、負責公司Hadoop集群資源管理調度器優(yōu)化,包括但不限于集群規(guī)模、調度吞吐能力、資源利用率等多個方向。
2、負責大數(shù)據(jù)底層技術組件社區(qū)跟進、關鍵問題攻關,解決平臺應用開發(fā)、數(shù)據(jù)開發(fā)、運維等用戶反饋的平臺技術難題。
3、根據(jù)公司業(yè)務場景需求,對現(xiàn)有底層技術組件進行穩(wěn)定性健康運行保障、性能優(yōu)化、二次開發(fā)、版本升級。
4、根據(jù)公司項目和業(yè)務發(fā)展特點,研究大數(shù)據(jù)相關前沿技術。
任職要求:
1、基本要求:本科及以上學歷,計算機、數(shù)學等相關專業(yè)。
2、工作經(jīng)驗:5年以上工作經(jīng)驗,有開源社區(qū)主流項目的COMMITER和PMC經(jīng)驗者優(yōu)先。
3、知識技能:
1)熟練使用Hadoop、Spark、Flink等大數(shù)據(jù)技術,熟悉SQL、Java、Scala、Python等編程語言;
2)熟悉Spark、Presto/Trino、Flink、Hive、Impala等主流大數(shù)據(jù)系統(tǒng)原理及源碼,可以對底層組件進行源碼二次開發(fā);
3)有超PB級別大數(shù)據(jù)處理實戰(zhàn)經(jīng)驗,熟悉整個大數(shù)據(jù)的完整處理流程,優(yōu)秀的問題解決能力;
4)熟悉主流的OLAP引擎的優(yōu)化原理,向量化執(zhí)行、Filter下推、物化視圖、列式存儲等;
5)熟悉HUDI、Iceberg或者DeltaLake 為代表的數(shù)據(jù)湖技術。
4、素質要求:積極主動,責任心強,執(zhí)行高效,良好的溝通和團隊協(xié)作能力,善于解決和分析問題。
工作地點
地址:鄭州管城回族區(qū)鄭州萬眾大廈20-22F


職位發(fā)布者
HR
河南中原消費金融股份有限公司

-
基金·證券·期貨·投資
-
200-499人
-
公司性質未知
-
管城回族區(qū)康寧街99號萬眾大廈22層