python - 如何将数据发送到 python 文件中的 pyspark 表单？

Question

我从一个网站上抓取了数据，它是一个列表列表：

data = [
['name', '20 July 1995 08:05', 0, 'text text text'],
['name', '20 July 1995 08:05', 0, 'text text text'],
['name', '20 July 1995 08:05', 0, 'text text text'],
['name', '20 July 1995 08:05', 0, 'text text text']
]

现在我需要将它发送到pyspark进行处理，我需要使用kafka吗？如何从 vs studio IDE 中做到这一点？

标签： pythonpysparkapache-kafka