数据重复一直是数据工程的难题，影响存储成本、查询性能和数据完整性。本文介绍湖仓架构中数据重复是如何在数据摄入、存储合并和表管理等环节出现的，并探究像Hudi这类开放表格式所提供的原生去重策略。以下是一些常见的场景：流式摄入管道：实时数据管道