时间戳

首页 > 解决方案 > 将多个csv数据中的数据导入一张主表

php - 将多个csv数据中的数据导入一张主表

问题描述

我有一个 MySQL 数据库，我想从多个 csv 文件中导入数据。对于数据，我提供了一个表，我想在该表上将多个文件合并为一个（连接）。不幸的是，我遇到的问题是我的数据太大，因此在我将所有内容都存储在表中之前非常耗时。因此问题是：处理大量数据的最佳方式是什么？

我冒昧地为每个 csv 文件创建了一个临时表并将数据加载到其中。然后我加入了所有表并想将我的查询结果插入到大表中，我已经遇到了等待时间长的问题。我想将解决方案限制为以下语言：MySQL、PHP。到目前为止，我使用 datagrip 的 GUI 和 sql-console 来导入这些文件。

标签： phpsqlcsvimport

解决方案

使用任何数据集成工具，如 Pentaho，然后按照以下步骤操作：

  1. Pentaho 有 CSV 导入对象
  2. 您可以使用连接对象连接多个 CSV 文件
  3. 从合并输出中选择所有列
  4. 然后使用 DB 连接器输出对象将其推送到 MySQL

推荐阅读