pentaho-kettle

Kettle，也称为Pentaho Data Integration，是一款强大的开源ETL（Extract, Transform, Load）工具。它主要用于从多个数据源提取数据，并对数据进行转换和加载到目标系统中。Kettle 提供了可视化的界面，使用户能够使用拖放方式创建数据流程，并通过连接不同的转换步骤进行数据转换和处理。Kettle 支持多种数据源和目标系统，并提供丰富的转换步骤和功能，例如数据清洗、聚合、排序、过滤等。Kettle 还支持调度任务和并发处理，可以在大规模数据处理场景下高效运行。

开源地址：https://github.com/pentaho/pentaho-kettle

Kettle 主要用于ETL流程和大规模数据处理，适用于复杂的数据转换和加载任务。

OpenRefine

OpenRefine，前身为Google Refine，是一款用于数据清洗和转换的开源工具。它主要用于处理和清理结构化数据，例如CSV、TSV、Excel等格式的数据。OpenRefine 提供了一个Web界面，使用户能够可视化地浏览和编辑数据集，并进行各种操作，例如数据筛选、重命名列、填充缺失值、拆分合并单元格等。OpenRefine 还具有强大的数据转换功能，例如正则表达式匹配和提取、数据格式转换等。OpenRefine 的优势在于其易用性和对结构化数据的专注，适用于数据清洗和探索性分析。

开源地址：https://github.com/OpenRefine/OpenRefine

OpenRefine 则更专注于结构化数据的清洗和转换，适用于小规模数据集的处理和探索性分析。

airbyte

领先的ETL/ELT数据管道数据集成平台，从API，数据库和文件到数据仓库，数据湖和数据湖仓一体,自托管和云托管。

Airbyte是一种开源数据集成平台，它使用的技术可以轻松地将各种源数据集连接到任何目标数据存储中。Airbyte可以自动将数据从各种不同的源迁移到目标数据存储，例如关系型数据库，NoSQL数据库，文本文件，云存储和SaaS应用程序，以及Big Data存储。

Airbyte由多个组件组成，包括数据源，连接器，转换器，目标，配置和任务等。首先，选择一个或多个源，然后使用连接器连接源，使用转换器从原始源数据转换为Airbyte目标的可读格式，然后将转换后的内容保存到目标中。Airbyte配置文件定义了源数据，源连接器，源转换器，目标，目标连接器和目标转换器之间的关系。

最后更新于  2024-01-28 16:56:36  并被添加「」标签，已有 500 位童鞋阅读过。

本站使用「署名 4.0 国际」创作共享协议，可自由转载、引用，但需署名作者且注明文章出处