google-bigquery - 将广泛而深入的 BigQuery 表导入 Google Dataprep

Question

在使用 Dataprep 中的导入功能导入具有多列和数百万行的 BigQuery (BQ) 表时，是否有任何选项可以简化数据集？

您可以在整理数据集之前选择列并参数化 BigQuery 导入吗？

我唯一的选择是首先在 BQ 中创建视图 - 以简化行数和列数吗？

理想情况下，当我运行使用此表的任何配方的输出并避免“选择 *”步骤时，我希望最大限度地降低数据流工作流程的成本。

任何提示将不胜感激。

标签： google-bigquerygoogle-cloud-dataprep

Answer 1

目前，在整理数据集之前无法避免列，如果您想减少查询成本和处理时间，使用视图是一个不错的选择。

在创建View的查询中，可以使用一些WHERE条件，尽可能减少数据量。

您还可以升级您的数据流机器类型，这可以减少执行时间和成本。