工作职责:
1、数据仓库建设与规范治理:负责企业数据仓库分层架构设计与落地,涵盖ODS、DWD、DWM、DWS各层级模型搭建,统一表命名、字段口径、分区、数据类型等规范;整治数仓分层混乱、跨层查询、重复建表、临时表泛滥等问题,搭建标准化、可复用的数据资产体系。
2、数据需求落地与价值评估:承接业务数据取数、指标开发、报表看板、数据分析需求,独立完成需求拆解、开发、测试、上线全流程;建立需求价值评估意识,区分常态化资产需求与临时取数需求,筛选高价值需求落地,杜绝无效算力、存储资源消耗,定期梳理下线闲置数据任务与报表。
3、大数据架构优化与迭代:负责离线/实时数据链路搭建与优化,解决数据链路冗长、任务超时、资源争抢、冷热数据混杂等架构问题;统一离线、实时指标口径,优化调度拓扑、数据血缘治理,保障数据产出稳定性、准确性、时效性。
4、数据质量与运维保障:搭建数据质量监控机制,针对空值、重复、逻辑异常、数据延迟等问题制定校验规则与告警策略;梳理数据血缘,排查链路故障,持续优化数据产出效率,保障业务数据稳定可用。
5、体系化沉淀与能力赋能:沉淀数仓开发规范、指标字典、开发流程标准;配合业务、产品、AI团队完成数据对接,预留AI特征、知识库数据输出通道,支撑数据分析、业务决策、AI应用落地。
任职资格:
1、本科及以上学历,2-5年大数据数仓开发经验,熟悉互联网、企业数字化、制造业/政企通用数据体系优先。
2、扎实掌握Doris、SQL,熟练数仓分层建模理论,具备完整的数仓模型搭建、指标体系建设经验,懂数据治理、口径统一、元数据管理优先。
3、熟悉大数据主流架构组件,了解Hadoop、Spark、Flink、调度工具DolphinScheduler,具备任务调优、资源优化、故障排查能力。
4、具备需求甄别与价值判断能力,不被动接需求,能主动梳理需求优先级、规避需求范围蔓延,具备良好的业务理解能力。
5、熟悉数据全生命周期管理,具备冷热数据分层、任务瘦身、闲置资产清理实战经验,能解决架构冗余、链路复杂等常见问题。
6、工作严谨负责,具备良好的复盘、沉淀能力,有中大型企业数仓规范化治理、架构优化实战经验者优先。
加分项
1、有企业级数据治理、指标平台、数据资产平台搭建经验,有帆软开发经验加分;
2、同时具备离线+实时数据链路开发优化经验;
3、有大数据与AI数据对接、特征工程、RAG数据预处理相关经验;
4、熟悉钉钉/企业内部数字化系统数据对接者优先。