陈鲜泉

陈鲜泉

后端研发工程师

6 年后端研发经验,现就职于字节跳动数据平台团队。专注于数据服务平台、API 编排引擎、统一查询抽象层等基础设施建设,平台日均 QPS 1000万+,服务 500+ 业务方。

字节跳动北京[email protected]GitHub

关于我

6 年后端研发经验,先后就职于浪潮、高途课堂、字节跳动。在字节跳动数据平台团队期间, 作为 OneService 数据服务平台 API 模块核心负责人,主导了平台多个核心模块从 0 到 1 的设计与实现。OneService 是字节内部一站式数据服务平台,为数据资产与应用之间搭建统一桥梁, 日均 QPS 1000万+,服务 500+ 业务 PSM。

API 平台

一站式数据服务全生命周期管理

高并发

日均 QPS 1000万+,500+ 业务方

数据服务

多区域容灾,逻辑表多模架构

编排引擎

DAG 工作流 + 统一查询抽象层

GolangJavaRedisMySQLClickHouseHive微服务RPC (Kitex)HTTP (Hertz)DAG 编排DDD 架构AbaseByteESDockerSpring Boot

工作经历

字节跳动在职

后端研发工程师 | Data-数据平台-数据服务

2021.11 - 至今

OneService 是字节内部一站式数据服务平台,为数据资产与应用之间搭建统一桥梁。平台支持 Abase、ClickHouse、ES 等主流数据源的 SQL 查询,核心功能包括 API 的创建、管理、运维与共享,适用于数据共享、报表分析、业务系统接入等场景。日均 QPS 1000万+,服务 500+ 业务 PSM。

  • 作为 API 模块核心负责人,主导 API 模块、API 编排、Invoker Engine 统一查询层等核心功能的架构设计与实现
  • 设计 DAG 工作流编排引擎(8 种节点类型),技术方案发表于字节跳动数据平台公众号
  • 负责 Dump 数据导出服务的开发与运维,支持 ClickHouse、Doris 大规模数据异步导出至 HDFS/TOS
  • 负责多数据中心路由(CN/SG/US/EU)、逻辑表多模架构、元数据同步等基础设施建设
  • 负责 AI Agent & Skill 模块开发,实现通过自然语言对数据源、物理表、逻辑表、API 等资源的管理运维
GolangHertzKitexRedisClickHouseMySQLDDD

高途课堂

Java 开发工程师 | 高途课堂 B 端技术部

2020.07 - 2021.08

B 端系统是为老师、教务等工作人员提供服务的系统。负责将原系统进行微服务拆分,师资管理模块的日常迭代开发。

  • 按业务模块进行微服务拆分,采用 DDD 领域分层,项目层次更规范清晰
  • 负责老师师资信息审核、挽单服务、主讲老师信息提报等功能实现
  • 对慢 SQL 进行优化,接口查询效率显著提升
Spring BootRedisMQMySQLDatabusXXL-Job

浪潮

Java 开发 | 企业金融事业部

2019.07 - 2020.07

财务系统主要用于实现财务公司的对内对外的结算、信贷、司库、报表等功能。负责司库功能的流程编程开发和运维。

SpringOracleReact

核心项目

在字节跳动 OneService 数据服务平台期间主导的核心项目 · 平台日均 QPS 1000万+

API 模块(核心负责人)

平台核心数据出口

从 0 到 1 构建数据服务平台 API 模块,融合字节内部多个 API 服务项目。支持脚本式(复杂 SQL)和向导式(界面配置)两种创建方式,提供整个数据平台的统一数据出口。日均 QPS 1000万+,服务 500+ 业务 PSM。

平台核心数据出口,承载抖音电商、直播、广告等业务线

GolangHertzKitexMySQLDDD

Invoker Engine 统一查询层

参与核心开发

参与统一查询抽象层开发,通过插件化 Connector 架构对接 ClickHouse、MySQL、Redis、Hive 等 10+ 数据源。支持 Push-Down 优化(谓词下推、投影下推、聚合下推),SQL Pipeline(Parse → Validate → Optimize → Execute),以及多级限流能力。

统一 10+ 异构数据源查询,显著降低接入成本

SQL PipelinePush-DownConnector限流

DAG 工作流编排引擎

复杂数据流编排

设计并实现基于 DAG 的编排调度框架,支持 8 种节点类型(Start、End、API、Condition、DataMerge、FaaS、Python、Operator)。实现 DAG 合法性检测、拓扑排序、节点超时、限流、重试、日志埋点等核心能力。技术方案已发表于字节跳动数据平台公众号。

技术文章发表于字节跳动数据平台公众号

DAG并发调度拓扑排序Golang

多数据中心路由

CN/SG/US/EU 四区域

实现多数据中心路由方案,支持 CN、SG、US、EU 四个区域的数据源智能路由。根据请求来源自动选择最近的数据中心,支持数据源集群粒度的同机房、跨机房切流,保障全球业务的低延迟和高可用。

支撑字节全球化业务,保障跨区域数据服务稳定性

多区域智能路由高可用

逻辑表多模架构

ANTLR 表达式引擎

设计逻辑表多模架构,支持 Hive(离线)+ ClickHouse(实时)+ MySQL(在线)多种存储模式透明切换。基于 ANTLR 实现虚拟字段表达式解析引擎,支持复杂字段计算和动态列映射,实现逻辑表主备切换(整表级 + 字段级)。

屏蔽底层存储差异,统一数据访问语义

多模存储HiveClickHouseMySQL

AI Agent & Skill

进行中

为 OneService 平台构建 AI Agent 能力,开发数据服务 Skill 体系。用户可通过自然语言对数据源、物理表、逻辑表、API、物化生成逻辑表等平台核心资源进行管理和运维操作,降低平台使用门槛。

通过自然语言驱动数据服务全链路管理运维

AI AgentSkillLLMGolang

Dump 数据导出服务

异步大规模数据导出

负责 Dump 数据导出服务的开发与运维。用户通过 OneService 发起 Dump 请求,服务异步调度 ClickHouse / Doris 执行数据导出任务,将结果写入 HDFS/TOS。支持任务状态轮询、异常自动检测与问题定位,提供完整的任务生命周期管理。

支撑业务大规模数据离线导出需求

ClickHouseDorisHDFSTOS

Hive 数据源前端平台

全栈开发

借助 AI 辅助参与 OneService 前端开发,独立完成 Hive 数据源平台侧物理表注册与使用的全部前端页面开发,覆盖物理表的创建、配置、查询、管理等完整流程。

后端工程师借助 AI 独立交付前端需求

前端开发AI 辅助Hive全栈

物化服务 & 表备份

onesync 数据物化

负责 onesync 物化服务的开发,将 Hive 数据源的数据物化为 ClickHouse、Abase、ByteES、Doris 四种物理表数据源,实现离线数据到在线存储的自动化同步。同时设计表备份模块,支持物理表多环境注册、灰度验证和主备自动切换,保障数据服务高可用。

离线数据自动物化为在线存储,保障数据服务 SLA

HiveClickHouseAbaseDoris物化

技术栈

编程语言

Golang精通
Java精通
SQL熟练

框架 & 架构

微服务架构熟练
Spring Boot熟练
RPC / gRPC熟练
API 网关设计精通

数据 & 存储

MySQL精通
Redis精通
ClickHouse熟练
Abase熟悉

工具 & 其他

Docker熟悉
Linux熟练
MQ熟悉
XXL-Job熟练

教育背景

太原理工大学211

软件工程 | 本科 | 软件工程学院

2015.09 - 2019.06 | 太原

欢迎交流

如果你对数据服务、API 平台建设、后端架构等方向感兴趣, 欢迎随时联系我,一起交流学习。