崗位職責(zé):
1. 負(fù)責(zé)數(shù)據(jù)倉庫腳本任務(wù)及數(shù)據(jù)的搬遷工作,確保最終數(shù)據(jù)完整性和一致性。
2. 使用 Hive SQL 進(jìn)行數(shù)據(jù)查詢操作,基于 Hadoop 大數(shù)據(jù)組件完成數(shù)據(jù)腳本部署、驗(yàn)證,編寫和維護(hù)數(shù)據(jù)搬遷相關(guān)的操作文檔
3. 與業(yè)務(wù)團(tuán)隊(duì)和開發(fā)團(tuán)隊(duì)協(xié)作,確保數(shù)據(jù)搬遷項(xiàng)目按時(shí)交付。
4.同時(shí)負(fù)責(zé)搬遷工具的用戶支持、問題排查和系統(tǒng)運(yùn)維等工作,沉淀工具手冊(cè),支持用戶完成搬遷項(xiàng)目。
崗位要求:
1. 數(shù)據(jù)倉庫庫:熟悉數(shù)據(jù)倉庫的設(shè)計(jì)、建模和優(yōu)化,熟悉 ETL 流程。
2. 大數(shù)據(jù)組件:熟悉 Hadoop 生態(tài)系統(tǒng)(如 HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、ClickHouse 等大數(shù)據(jù)組件的使用。
2年以上年大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn),具備數(shù)據(jù)倉庫、數(shù)據(jù)開發(fā)能力。
3. 有大型數(shù)據(jù)倉庫遷移項(xiàng)目經(jīng)驗(yàn)者優(yōu)先
4. 編程語言:精通 Hive SQL,能夠編寫復(fù)雜的查詢語句;有一定 Python、Java 或 Scala 等編程語言的基礎(chǔ)。