職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責:
1、負責公司Hadoop集群資源管理調度器優(yōu)化,包括但不限于集群規(guī)模、調度吞吐能力、資源利用率等多個方向。
2、負責大數據底層技術組件社區(qū)跟進、關鍵問題攻關,解決平臺應用開發(fā)、數據開發(fā)、運維等用戶反饋的平臺技術難題。
3、根據公司業(yè)務場景需求,對現有底層技術組件進行穩(wěn)定性健康運行保障、性能優(yōu)化、二次開發(fā)、版本升級。
4、根據公司項目和業(yè)務發(fā)展特點,研究大數據相關前沿技術。
任職要求:
1、基本要求:本科及以上學歷,計算機、數學等相關專業(yè)。
2、工作經驗:5年以上工作經驗,有開源社區(qū)主流項目的COMMITER和PMC經驗者優(yōu)先。
3、知識技能:
1)熟練使用Hadoop、Spark、Flink等大數據技術,熟悉SQL、Java、Scala、Python等編程語言;
2)熟悉Spark、Presto/Trino、Flink、Hive、Impala等主流大數據系統(tǒng)原理及源碼,可以對底層組件進行源碼二次開發(fā);
3)有超PB級別大數據處理實戰(zhàn)經驗,熟悉整個大數據的完整處理流程,優(yōu)秀的問題解決能力;
4)熟悉主流的OLAP引擎的優(yōu)化原理,向量化執(zhí)行、Filter下推、物化視圖、列式存儲等;
5)熟悉HUDI、Iceberg或者DeltaLake 為代表的數據湖技術。
4、素質要求:積極主動,責任心強,執(zhí)行高效,良好的溝通和團隊協作能力,善于解決和分析問題。
工作地點
地址:鄭州管城回族區(qū)鄭州萬眾大廈20-22F


職位發(fā)布者
HR
河南中原消費金融股份有限公司

-
基金·證券·期貨·投資
-
200-499人
-
公司性質未知
-
管城回族區(qū)康寧街99號萬眾大廈22層