企业数据整合的必要性

近几十年来，科学技术的迅猛发展和信息化的推进，使得人类社会所积累的数据量已超过了过去5000年总和，数据的采集、存储、处理、传播的数量与需求正与日俱增。
企业当前实现数据整合可以充分使用已有数据资源，来减少资料收集、数据采集等重复劳动和相应费用。但在实施数据整合过程当中，由于数据来源途径不同，其数据内容、数据格式、数据质量千差万别，甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，企业信息化基本按照垂直线条展开、信息系统繁多、数据重复录入，信息孤岛、烟囱林立现象严重。上述情况严重阻碍了数据在公司各部门的流动与使用。

多源数据整合工具

HENGSHI SENSE 的数据连接功能可适配各类数据源，并能打通多源异构数据。保证数据连接的安全性是头等大事。通过对数据连接进行权限控制，衡石具有的统一数据发布平台能力，让各业务部门能够对权威、统一的数据实现分角色管理按需所取。

此外利用数据网关功能，企业还能构建专用连接，使本地数据和云上 BI 之间有快速安全的数据传输能力。

HENGSHI SENSE 能为不同客户快速创建多种数据场景应用。针对数字化转型中的传统行业客户群体，对数据的灵活条件查询是业务人员的痛点之一，衡石通过抽象能力的封装，类似乐高积木一样搭建出了一个新的应用：自助业务查询。创作的人员可以像仪表盘一样布局和拖拽出一个条件设置的页面和展示区域，形成一个自助即席查询数据的页面作为应用发布，业务人员可以基于灵活的数据项来进行查询动作，实时获取不同条件下的数据视图。
衡石允许管理员对 API 进行授权发布，让公司产品真正成为企业数字化转型的智能引擎，在服务企业多个角色的人员的同时，带动各种业务系统的升级。

数据连接管理

通过卡片式展示模式，能直观呈现各类数据，查询功能可精准搜索数据，也可在：全部、我创建的、授权给我的三种形式展现查看所有数据。

列表模式，在列表模式下可以对有排序标志的列点击进行排序：

在创建各种类型的数据连接时。在连接属性字段中可以使用用户属性，从而实现针对各个用户的动态连接。

数据集成

当多源数据连接状态显示成功后，数据集成提供 ETL（Extract-Transform-Load，抽取-转置-加载）功能，这里会对不同来源的数据进行抽取、过滤、转换格式、添加计算列、关联、合并、聚合等处理，再输出到用户指定的数据源中，供后续探索分析用。

新建数据集成项目后，后台提供 Greenplum、PostgreSQL、Amazon Redshift、Mysql 四种数据源作为输出路径。

有本地文件、数据连接、数据集市三种类型输出节点。

其中本地文件：支持上传 csv、excel 两种格式。数据连接：分为内置数据连接和用户数据连接两大类。数据集市：可将数据集的成果导出到输出源中，方便客户探索使用。
整个项目按照：提取数据->加载前 SQL->验证 Schema->表操作->更新方法->加载后 SQL 的顺序执行，以上任意步骤失败会导致整个项目的作业失败并停止，以确保得到的数据精确、严谨。
最新 3.6 版本对数据集成界面的交互方式进行了全新改版，现版本节点支持灵活拖动、自由布局，用户使用更方便、直观。改版后：   

节点定义统一放在左边，方便后续功能扩展

节点类型不同，颜色、图标也不同，用户不易混淆

画布支持自适应缩放

新增的批量同步功能可快速地把大量业务表同步到 HENGSHI 数据湖。支持设置各种场景下同步策略，包括：表提取方式、全量提取建表策略、字段变化处理策略、后续新增表的同步策略。可同时执行多个数据任务来完成数据同步工作。支持定时、实时同步数据。

HENGSHI SENSE 能对多源数据进行安全有效的整合管理，解决数据连接问题，也是企业进行数字化转型的开端。