python - 将具有列中对象的数据框插入雪花

Question

我正在设计一个 ETL 管道来将数据从 MongoDB 加载到 Snowflake。

1. find()通过通用命令从集合中提取数据
2. 将 ObjectId 类型转换为字符串
3. 将光标转换为 DataFrame
4. 在雪花库中使用write_pandas将数据框插入雪花表

但是，我收到一个错误Expected a bytes object, got a 'dict' object", 'Conversion failed for column origin with type object。我假设它抛出一个错误，因为我的列之一是一个对象。是否可以将该列类型设置为 Variant，以便 Snowflake 将其存储为这样？

另外，这是最好的方法吗，有没有更好的方法来设计 etl 管道？

标签： pythonpandasmongodbsnowflake-cloud-data-platformetl