时间戳

首页 > 解决方案 > 往返 Netezza 的 Azure Synapse 数据库 - 最有效的方法

java - 往返 Netezza 的 Azure Synapse 数据库 - 最有效的方法

问题描述

我们希望使用 Qlik 从 Netezza 将数据加载到 Azure Synapse（云），反之亦然，但我们发现性能无法接受。实现这一目标的最快方法是什么？

我们有一些用 Java 编写的内部工具来执行此任务，但是我不知道如何在本机云环境中运行此代码，或者这是否可行。

我在云方面没有太多经验，所以任何关于在哪里花时间更快地实现我的目标的指导将不胜感激。

标签： javadatabaseazurecloudnetezza

解决方案

Netezza 中最快的方法是“create external table as select...”。</p>

如果您的 Netezza 足够新 (CP4D)，您甚至可以参考云上的文件位置，但否则您可能需要在 Azure 和本地部署一个（快速）文件存储

一点阅读： https ://docs.microsoft.com/en-us/azure/synapse-analytics/sql/develop-tables-external-tables?tabs=hadoop

https://www.ibm.com/docs/en/SSULQD_7.2.1/com.ibm.nz.load.doc/c_load_create_external_tbl_syntax.html

基本上，您需要使用 UTF8（在 Netezza 上也称为“内部”）并选择 5 个特殊字符：

  1. 转义字符（通常是 '\'）
  2. 列分隔符（通常是 TAB 字符）
  3. 行分隔符（通常是换行符）
  4. 字符串分隔符（通常是双引号'“'）
  5. 一个 NULL 指示字符（通常是星号 '*'）

在两端选择相同的 5 个字符并进行某种二进制文件传输（xFTPx、HTTP 或某种专用的 Azure 复制工具），你应该很好:)

推荐阅读