时间戳

首页 > 解决方案 > 有没有办法将大量数据输入 Firebase Firestore 数据库

python - 有没有办法将大量数据输入 Firebase Firestore 数据库

问题描述

我正在尝试将大量数据（1300 万行）输入 Firebase Firestore，但需要很长时间才能完成。

目前，我正在使用python逐行插入数据，我尝试使用多线程，但它仍然很慢而且效率不高（我必须保持连接到互联网）

那么，是否有另一种将文件插入 Firebase 的方法（一种更有效的（批量）插入数据的方法）？

这是数据格式

[
{
    '010045006031': {
                        'FName':'Ahmed',
                        'LName':'Aline'
                    }
},
{
    '010045006031': {
                        'FName':'Ali',
                        'LName':'Adel'
                    }
},
{
    '010045006031': {
                        'FName':'Osama',
                        'LName':'Luay'
                    }
}

]

这是我正在使用的代码

import firebase_admin
from firebase_admin import credentials, firestore



def Insert2DB(I):
     doc_ref = db.collection('DBCoolect').document(I['M'])
     doc_ref.set({"FirstName": I['FName'], "LastName": I['LName']}


cred = credentials.Certificate("ServiceAccountKey.json")

firebase_admin.initialize_app(cred)

db = firestore.client()

List = []
#List are read from File
List.append({'M': random(),'FName':'Ahmed','LName':'Aline'})
List.append({'M': random(),'FName':'Ali','LName':'Adel'})
List.append({'M': random(),'FName':'Osama','LName':'Luay'})


for item in List:
    Insert2DB(item)

非常感谢 ...

标签： pythonfirebasegoogle-cloud-firestore

解决方案

Firestore 不提供任何“批量更新”文档的方法。它们必须单独添加。有一个批量写入的工具，但是每批最多 500 个文档，这不太可能大大加快您的流程。

如果您想优化添加文档的速度，我建议您阅读有关读写操作和设计的最佳实践的文档。然而，考虑到所有因素，实际上没有“快速”的方法可以将 1300 万份文档放入 Firestore。您将编写代码来单独添加每一个。Firestore 未针对快速写入进行优化。它针对快速读取进行了优化。

推荐阅读