陈鲜泉
后端研发工程师
6 年后端研发经验,现就职于字节跳动数据平台团队。专注于数据服务平台、API 编排引擎、统一查询抽象层等基础设施建设,平台日均 QPS 1000万+,服务 500+ 业务方。
关于我
6 年后端研发经验,先后就职于浪潮、高途课堂、字节跳动。在字节跳动数据平台团队期间, 作为 OneService 数据服务平台 API 模块核心负责人,主导了平台多个核心模块从 0 到 1 的设计与实现。OneService 是字节内部一站式数据服务平台,为数据资产与应用之间搭建统一桥梁, 日均 QPS 1000万+,服务 500+ 业务 PSM。
API 平台
一站式数据服务全生命周期管理
高并发
日均 QPS 1000万+,500+ 业务方
数据服务
多区域容灾,逻辑表多模架构
编排引擎
DAG 工作流 + 统一查询抽象层
工作经历
字节跳动在职
后端研发工程师 | Data-数据平台-数据服务
OneService 是字节内部一站式数据服务平台,为数据资产与应用之间搭建统一桥梁。平台支持 Abase、ClickHouse、ES 等主流数据源的 SQL 查询,核心功能包括 API 的创建、管理、运维与共享,适用于数据共享、报表分析、业务系统接入等场景。日均 QPS 1000万+,服务 500+ 业务 PSM。
- 作为 API 模块核心负责人,主导 API 模块、API 编排、Invoker Engine 统一查询层等核心功能的架构设计与实现
- 设计 DAG 工作流编排引擎(8 种节点类型),技术方案发表于字节跳动数据平台公众号
- 负责 Dump 数据导出服务的开发与运维,支持 ClickHouse、Doris 大规模数据异步导出至 HDFS/TOS
- 负责多数据中心路由(CN/SG/US/EU)、逻辑表多模架构、元数据同步等基础设施建设
- 负责 AI Agent & Skill 模块开发,实现通过自然语言对数据源、物理表、逻辑表、API 等资源的管理运维
高途课堂
Java 开发工程师 | 高途课堂 B 端技术部
B 端系统是为老师、教务等工作人员提供服务的系统。负责将原系统进行微服务拆分,师资管理模块的日常迭代开发。
- 按业务模块进行微服务拆分,采用 DDD 领域分层,项目层次更规范清晰
- 负责老师师资信息审核、挽单服务、主讲老师信息提报等功能实现
- 对慢 SQL 进行优化,接口查询效率显著提升
浪潮
Java 开发 | 企业金融事业部
财务系统主要用于实现财务公司的对内对外的结算、信贷、司库、报表等功能。负责司库功能的流程编程开发和运维。
核心项目
在字节跳动 OneService 数据服务平台期间主导的核心项目 · 平台日均 QPS 1000万+
API 模块(核心负责人)
平台核心数据出口
从 0 到 1 构建数据服务平台 API 模块,融合字节内部多个 API 服务项目。支持脚本式(复杂 SQL)和向导式(界面配置)两种创建方式,提供整个数据平台的统一数据出口。日均 QPS 1000万+,服务 500+ 业务 PSM。
平台核心数据出口,承载抖音电商、直播、广告等业务线
Invoker Engine 统一查询层
参与核心开发
参与统一查询抽象层开发,通过插件化 Connector 架构对接 ClickHouse、MySQL、Redis、Hive 等 10+ 数据源。支持 Push-Down 优化(谓词下推、投影下推、聚合下推),SQL Pipeline(Parse → Validate → Optimize → Execute),以及多级限流能力。
统一 10+ 异构数据源查询,显著降低接入成本
DAG 工作流编排引擎
复杂数据流编排
设计并实现基于 DAG 的编排调度框架,支持 8 种节点类型(Start、End、API、Condition、DataMerge、FaaS、Python、Operator)。实现 DAG 合法性检测、拓扑排序、节点超时、限流、重试、日志埋点等核心能力。技术方案已发表于字节跳动数据平台公众号。
技术文章发表于字节跳动数据平台公众号
多数据中心路由
CN/SG/US/EU 四区域
实现多数据中心路由方案,支持 CN、SG、US、EU 四个区域的数据源智能路由。根据请求来源自动选择最近的数据中心,支持数据源集群粒度的同机房、跨机房切流,保障全球业务的低延迟和高可用。
支撑字节全球化业务,保障跨区域数据服务稳定性
逻辑表多模架构
ANTLR 表达式引擎
设计逻辑表多模架构,支持 Hive(离线)+ ClickHouse(实时)+ MySQL(在线)多种存储模式透明切换。基于 ANTLR 实现虚拟字段表达式解析引擎,支持复杂字段计算和动态列映射,实现逻辑表主备切换(整表级 + 字段级)。
屏蔽底层存储差异,统一数据访问语义
AI Agent & Skill
进行中
为 OneService 平台构建 AI Agent 能力,开发数据服务 Skill 体系。用户可通过自然语言对数据源、物理表、逻辑表、API、物化生成逻辑表等平台核心资源进行管理和运维操作,降低平台使用门槛。
通过自然语言驱动数据服务全链路管理运维
Dump 数据导出服务
异步大规模数据导出
负责 Dump 数据导出服务的开发与运维。用户通过 OneService 发起 Dump 请求,服务异步调度 ClickHouse / Doris 执行数据导出任务,将结果写入 HDFS/TOS。支持任务状态轮询、异常自动检测与问题定位,提供完整的任务生命周期管理。
支撑业务大规模数据离线导出需求
Hive 数据源前端平台
全栈开发
借助 AI 辅助参与 OneService 前端开发,独立完成 Hive 数据源平台侧物理表注册与使用的全部前端页面开发,覆盖物理表的创建、配置、查询、管理等完整流程。
后端工程师借助 AI 独立交付前端需求
物化服务 & 表备份
onesync 数据物化
负责 onesync 物化服务的开发,将 Hive 数据源的数据物化为 ClickHouse、Abase、ByteES、Doris 四种物理表数据源,实现离线数据到在线存储的自动化同步。同时设计表备份模块,支持物理表多环境注册、灰度验证和主备自动切换,保障数据服务高可用。
离线数据自动物化为在线存储,保障数据服务 SLA
技术栈
编程语言
框架 & 架构
数据 & 存储
工具 & 其他
教育背景
太原理工大学211
软件工程 | 本科 | 软件工程学院
2015.09 - 2019.06 | 太原
欢迎交流
如果你对数据服务、API 平台建设、后端架构等方向感兴趣, 欢迎随时联系我,一起交流学习。