摘要

本文介绍了一种基于草图的表格表示学习方法——TabSketchFM，用于在数据湖中进行数据发现。TabSketchFM通过预训练的草图方法增强了神经表格模型在数据发现任务中的有效性，并开发了LakeBench，一个包含8个基准的集合，用于微调预训练模型以识别可联合、可合并或互为子集的表格。实验结果表明，TabSketchFM在多个微调任务中达到了最先进的性能，并在搜索任务中相较于现有技术有显著改进，特别是在可联合搜索基准中性能提升高达70%。此外，TabSketchFM在不同数据集和任务间展示了显著的泛化能力。

原理

TabSketchFM的核心创新在于使用草图（sketches）来表示表格数据，这种方法通过抽象列单元值来创建数据草图，如MinHash草图和数值草图，从而捕获表格特征。这些草图被输入到神经模型中，避免了直接将表格单元值输入模型的问题，解决了输入长度限制和数值表示的问题。预训练阶段使用Mask Language Modeling (MLM)作为目标，通过随机采样并替换为[MASK]标记来创建输入序列，模型被训练来预测这些被替换的词。微调阶段，模型针对联合、合并和查找子集等数据发现任务进行优化，使用LakeBench中的基准数据集进行训练和验证。

流程

TabSketchFM的工作流程包括预训练和微调两个主要阶段。预训练阶段，模型通过MLM任务学习如何从草图表示中恢复被遮蔽的词。微调阶段，模型在LakeBench的多个基准任务上进行训练，每个任务涉及不同的数据发现场景，如联合、合并和子集查找。模型在这些任务上的表现通过F1分数和R2统计量进行评估。在搜索任务中，TabSketchFM被用于重新排序联合和合并搜索结果，通过比较不同模型的性能来展示其优势。

应用

TabSketchFM的应用前景广泛，特别适用于需要在大规模数据湖中进行高效数据发现的企业和组织。其能力不仅限于识别可联合、可合并或互为子集的表格，还可以扩展到其他数据发现任务，如语义类型检测和表格内容增强。随着数据湖技术的进一步发展，TabSketchFM有望成为数据管理和分析工具箱中的重要组成部分。