数据的过滤是数据分析中最重要的方法之一。通过有效的过滤，可以去除噪声数据、异常值和不相关的信息，从而提高分析结果的准确性和可靠性。数据过滤能够帮助分析师专注于关键数据点，发现潜在的趋势和模式，从而做出更明智的决策。

数据分析的过程可以分为几个关键节点：

 · 确定明细数据表；

 · 利用部分表格制作宽表；

 · 确定直接用于分析的数据表和宽表，并建立它们之间的关联模型；

 · 基于关联模型进行数据可视化展示。

数据过滤的需求可能出现在上述任何节点，这取决于分析的功能和性能需求。为了更好地描述数据过滤的发生过程，我们可以将上述节点倒序排列，例如下面图片描述的一个关于咖啡的简单分析场景，在这个场景中，我们可以描述数据过滤在每个阶段的作用。

在可视化阶段，过滤掉不相关的数据可以帮助我们更清晰地识别关注对象的趋势和模式。过滤在可视化阶段的作用最为直观，结果呈现为所见即所得，这对分析师和数据使用者都非常方便。然而，它的缺点在于过滤位于最外层，下面的所有数据明细处理仍然基于全量数据，这对整体分析性能并不友好。如果我们能够解决性能问题，分析师就可以更加专注于业务需求。衡石提供的过滤器下推能力正是为了解决这一问题。

过滤器下推是指在不影响计算结果的基础上，将过滤器尽量推到底层计算，从而减少计算量，过滤被下推之后，原始的过滤条件会被删掉。目前，衡石对过滤器下推的策略如下：

下图展示了咖啡分析场景中，订单日期的过滤器是如何被推到底层的。黄色填充的过滤条件是下推的中间过程，最终过滤条件落在了“coffee_2016年销量”和“coffee_2023年销量”上，相当于 “coffee_2016年销量”的数据不会参与到分析中。

在数据建模阶段，过滤掉异常值和噪声数据可以确保模型的准确性和可靠性。数据管理员需要在建模阶段添加过滤条件，以确保在使用数据模型时，所处理的数据始终带有这些过滤条件。这种做法不仅提高了模型的质量，还能有效减少后续分析中的干扰因素，从而使得分析结果更加可信。衡石在建模阶段提供了针对模型添加过滤的功能，并且这些过滤条件在条件允许的情况下，也会被下推到底层。

在数据整合阶段，过滤掉不必要的字段和记录可以简化数据结构，提高后续分析的效率。数据管理员可以方便地在创建多表联合、多表合并、聚合、行转列和列转行等类型的数据表时添加过滤条件。然而，数据管理员在添加过滤条件时，通常会关注新数据表是否受到底层数据集的过滤条件影响。以下是两个相关场景：

衡石提供了“继承上游权限”的功能，方便数据管理员根据不同场景需求创建满足多种条件的数据表。开启了“继承上游权限”，新的数据表会受底层数据过滤的影响；不开启“继承上游权限”，新的数据表不会受底层数据过滤的影响。

确定明细数据表时，初步过滤可以帮助我们聚焦于最相关的数据，确保后续步骤的有效性。除了数据管理员对明细数据表有初步过滤的需求外，分析员也会有类似的需求。在分析阶段，分析员在添加过滤条件时，有时希望这些过滤条件直接作用于最终结果，有时则希望它们作用于底层的数据。衡石的仪表盘过滤功能正好支持这两种需求，提供了灵活的过滤选项，以满足不同分析场景的需要。分析师在添加仪表盘过滤时，开启“外层过滤”，表示过滤发生在分析结果上；关闭“外层过滤”，表示过滤直接作用于底层数据集。

以上为本次分享的全部内容，关注衡石，了解更多数据分析技能！

本文作者赵俊丽：2007年毕业于北京航空航天大学计算机科学与技术专业。曾就职于 IBM 担任研发工程师，参与 IBM 云计算项目研发和 Deveops 运维研发工作。2017年加入衡石，专注于后端服务开发，现任后端开发 Tech Lead