工作职责: 1. 参与数据平台一站式开发平台的设计和研发,视情况涉及一个或多个子系统:数据采集、作业调度、数据质量、元数据管理、指标管理、数据清洗等; 2. 承担大数据平台服务组件的搭建和维护,能够持续优化并改进现有的技术框架,保证高可用、稳定、低延迟的优质服务体验; 3. 对数据进行业务分析,灵活运用可视化工具展示分析结果; 4. 参与产品与应用的数据研发,制定整体数据接入规范; 5. 研究前沿技术,解决实际场景中的业务问题,持续优化数据处理、分析、展示方式等(如拖拽式数据报表系统、Flink相关的流式数据处理算法等)
任职资格: 1. 本科以上学历、3年以上数据平台相关产品研发经验; 2. 掌握基础编程相关算法和设计模式; 3. 熟练掌握3种以上开发语言并在项目中有实际应用经验(包含不限于:Java、Python、Bash、Scala、Javascrip等,其中Java/Python尤为重要); 4. 熟练使用SQL实现读写逻辑,并对SQL性能有非常深入的认知; 5. 熟练使用SpringBoot技术栈开发; 6. 掌握2种以上数据库(包含不限于:MySQL、PostgreSQL、Clickhouse、MongoDB、Hive、Redis等)的使用方法,掌握其事务、引擎、字段类型及边界、存储格式及性能、分布式计算、表结构、高级查询等知识; 7. 理解前后端技术,可以快速切入前后端或SaaS平台进行数据同步、功能开发等(比如使用HTTP协议在前后端通信、设计通信接口、修改前端页面); 8. 可以熟练地进行任务调度(包含不限于:DolphinScheduler、Airflow、Quartz、Crontab、Azkaban等); 9. 具备理解复杂业务逻辑的能力、良好的表达能力,擅于沟通和解决问题,乐于总结分享,有想法,有冲劲,有团队精神和主人翁意识和责任感; 优先加分项: 1. 熟悉ETL技术; 2. 熟悉负载均衡、日志记录、数据采集、消息队列、缓存、事务编程、多线程编程、单点登录; 3. 熟悉Hadoop生态圈组件/数据仓库/数据湖; 4. 熟悉可视化技术(包含不限于:Metabase、Superset、FineBI、D3.js、Tableau); 5. 有带队经验; 6. 其它闪光点,如:开源项目上的优质Commit记录; 联系方式:微信19502357798 或TG: Lory1133