时间戳

首页 > 解决方案 > 使用 python 和 Kerberos 连接到 Hive

python - 使用 python 和 Kerberos 连接到 Hive

问题描述

我正在尝试使用 Python 连接到配置单元。我安装了所有需要的依赖项（sasl、thrift_sasl 等）

这是我尝试连接的方式：

configuration = {"hive.server2.authentication.kerberos.principal" : "hive/_HOST@REALM_HOST", "hive.server2.authentication.kerberos.keytab" : "/etc/security/keytabs/hive.service.keytab"}

connection = hive.Connection(configuration = configuration, host="host", port=port, auth="KERBEROS", kerberos_service_name = "hiveserver2")

但我得到这个错误：

次要代码可能会提供更多信息（找不到领域“REALM_DOMAIN”的 KDC）

为什么我不见了？有人有使用pyHive连接的示例kerberos吗？

谢谢您的帮助。

标签： pythonhiveconfigurationkerberospyhive

解决方案

谢谢@Kishore。实际上在 PySpark 中，代码如下所示：

import pyspark
from pyspark import SparkContext
from pyspark.sql import Row
from pyspark import SparkConf
from pyspark.sql import HiveContext
from pyspark.sql import functions as F
import pyspark.sql.types as T

def connection(self):
    conf = pyspark.SparkConf()
    conf.setMaster('yarn-client')
    sc = pyspark.SparkContext(conf=conf)

    self.cursor = HiveContext(sc)

    self.cursor.setConf("hive.exec.dynamic.partition", "true")
    self.cursor.setConf("hive.exec.dynamic.partition.mode", "nonstrict")
    self.cursor.setConf("hive.warehouse.subdir.inherit.perms", "true")
    self.cursor.setConf('spark.scheduler.mode', 'FAIR')

您可以请求使用：

rows = self.cursor.sql("SELECT someone FROM something")
for row in rows.collect():
    print row

我实际上是通过命令运行代码：

spark-submit --master yarn MyProgram.py

我猜你基本上可以使用安装了 pyspark 的 python 运行：

python MyProgram.py

但我没有尝试过，所以我不能保证它有效

推荐阅读