FlinkOLAP助力ByteHTAP亮相数据库顶会VLDB

　　2022年9月5日至9月9日，VLDB2022在澳大利亚悉尼举行。字节跳动基础架构研究成果《ByteHTAP：ByteDance’sHTAPSystemwithHighDataFreshnessandStrongDataConsistency》被VLDB2022接收，并受邀进行现场报告。
　　VLDB会议全称InternationalConferenceonVeryLargeDataBases，是数据库领域历史悠久的三大顶级会议（SIGMOD、VLDB、ICDE）之一，同时也是数据库领域杰出研究和发展成果的实时传播场所，反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。VLDB自1975年成立，每年吸引全球顶级研究机构投稿，对系统创新性、完整性、实验设计等方面都要求极高。
　　论文核心贡献
　　《ByteHTAP：ByteDance’sHTAPSystemwithHighDataFreshnessandStrongDataConsistency》介绍了字节跳动为应对业务场景而构建的具有高数据新鲜度和强数据一致性的HTAP系统。ByteHTAP采用独立引擎和共享存储架构，它的模块化系统设计充分利用了字节跳动现有的OLTP系统和OLAP系统。ByteHTAP可以在不到1秒的延迟下提供高数据新鲜度，为客户带来许多新的商机，客户还可以根据业务需求配置不同的数据新鲜度阈值。ByteHTAP通过其OLTP和OLAP系统的全局时间戳提供强大的数据一致性，使研发人员不必处理系统中复杂的数据一致性问题。ByteHTAP使用Flink作为OLAP计算引擎，在计算和存储中引入了一些重要的性能优化，例如重构Flink作业调度流程以提升查询QPS，将计算推到存储层，以及使用删除位图来有效地处理删除等。文章最后分享了字节跳动在生产中开发和运行ByteHTAP的经验教训与最佳实践，包括跨OLAP数据库查询能力、高效的数据导入、对Flink的开发增强等。
　　核心计算引擎FlinkOLAP
　　Flink作为ByteHTAP系统的OLAP计算引擎，目前已经在公司内部多个业务上线使用。字节跳动Flink技术团队为Flink引擎支持OLAP计算做了大量深入优化，有效提升FlinkOLAP计算性能。目前1600核集群，小数据量下128并发简单查询调度QPS达到1000以上，复杂查询调度QPS达到100以上；1000并发WordCount查询Latency在100ms左右。接下来我们会以https：issues。apache。orgjirabrowseFLINK25318为主，陆续将内部优化贡献给社区。查询优化器。支持TopN，Aggregate等算子下推；支持PlanCache和DAG并行构建；支持CachedCatalog。TPCDSSF100性能提升20以上。查询执行优化。支持ClassLoader复用和跨作业的CodegenCache，降低执行阶段CPU使用率和MetaSpace占用；实现RuntimeFilter优化Join计算性能；异步数据读取和并发度优化等。资源管理和作业调度。简化查询资源申请和释放流程，优化JobMaster与ResourceManagerTaskManager节点交互，实现按照TaskManager粒度分配作业资源，提升资源申请性能；支持批量部署计算任务，优化部署结构和序列化反序列化，提升计算任务部署性能。查询结果管理。实现通过Websocket协议提交查询，计算结果返回从Pull模式优化为Push模式，避免Pull轮询等待耗时；通过Dispatcher连接复用，减少JobMaster和TaskManager在查询和计算任务初始化时创建不必要的连接和交互，降低查询Latency。内存管理优化。优化MemoryManager和NetworkBufferPool内存申请和释放管理，减少计算任务启动和停止时的内存交互次数和锁数量；通过减少不必要的Metrics，增加并行GC等优化降低JobManagerTaskManager节点的FGCYGC，提升查询执行性能和生产集群稳定性。网络管理优化。实现TaskManager多作业网络连接复用，优化上下游计算任务PartitionRequest交互流程，减少了网络层频繁初始化损耗和上下游计算任务消息数量，提升计算任务初始化性能。资源隔离管理。支持按照TaskManager维度管理资源组，多租户间查询作业实现物理隔离；实现TaskManager内计算任务细粒度调度和执行，支持高负载情况下的小查询优先策略。
　　字节跳动最佳实践
　　在字节跳动内部，ByteHTAP目前已支持UserGrowth、电商、幸福里、飞书等业务，共11个集群6000CoreAP资源，每天Query50w。
　　作为ByteHTAP核心计算引擎的FlinkOLAP，目前相关能力正逐步上线火山引擎商业化产品流式计算Flink版火山引擎。作为将字节跳动内部云原生大数据方案整合优化后输出的企业级统一计算引擎，流式计算Flink版具备开箱即用、弹性部署、流批一体、OLAP多模态计算等特性。
　　点击下载论文原文：链接