mysql - 无法启动 Hive,并且 Trino 中不存在目录“hive”
问题描述
我安装了 Apache Hive 3、Apache Hadoop 3、MySQL 和 Trino 来查询数据。我启动了 Hive Metastore,我有 MySQL 正在运行。但是当我在 Trino 中运行一个简单的查询时:
trino> show tables from default;
==> 失败:第 1:1 行:目录 'hive' 不存在
当我尝试启动 Hive CLI 时。我得到了这个例外:
Hive Session ID = dd740516-a5d0-4f8d-ae24-065e2cfe889c
Exception in thread "main" java.lang.ClassCastException: jdk.internal.loader.ClassLoaders$AppClassLoader incompatible with java.net.URLClassLoader
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:413)
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:389)
at org.apache.hadoop.hive.cli.CliSessionState.<init>(CliSessionState.java:60)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.base/java.lang.reflect.Method.invoke(Method.java:566)
at org.apache.hadoop.util.RunJar.run(RunJar.java:318)
at org.apache.hadoop.util.RunJar.main(RunJar.java:232)
我尝试将这些属性添加到,hive-site.xml
但无法启动 Hive CLI。
<property>
<name>system:java.io.tmpdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>system:user.name</name>
<value>${user.name}</value>
</property>
有人可以帮忙吗?非常感谢
解决方案
我可以回答关于 Trino CLI 的第一个问题。
在您可以在 Trino 中对 HDFS 中的数据运行查询之前,您需要先配置 hive 连接器目录。在您的 Trino 安装中,应该有一个etc
目录。该目录下面是etc/catalog
目录。
创建一个新文件etc/catalog/hive.properties
并添加以下配置。
connector.name=hive-hadoop2
hive.metastore.uri=thrift://<your-metastore-ip-address>:9083
让我们分解这些属性的含义:
connector.name=hive-hadoop2
表示目录将使用 Trino hive 连接器。hive.metastore.uri=thrift://<your-metastore-ip-address>:9083
告诉 Trino 在哪里可以找到与 Hive 一起安装的元存储。
如果您不确定在哪里可以找到您的元存储 IP 地址,hive 文档会根据您运行的 Hadoop/Hive 版本指出一些包含它们的配置文件。
Hive 和 Trino 共享元存储,但在完全不同的资源上运行查询。当人们开始使用 Trino 时,我写了这篇博客来帮助介绍这些概念。也许它可以帮助你开始。
假设您的设置没有什么太复杂的地方,这应该就是所需要的。在某些情况下,您可能需要包含和hive.config.resources
的路径。hdfs-site.xml
core-site.xml
推荐阅读
- html - Writing two paragraphs, these are spaced apart! IDK why
- docker - 使用 docker-compose 绑定挂载单个文件
- css - CSS如何让最大宽度覆盖最小宽度?
- php - php 版本在 WHM 和服务器中的显示方式不同
- javascript - 如何在 React with Jest 中测试 Typescript 类成员
- stomp - 如何设置 AMQ 消息的属性
- google-chrome - 禁用 Internet 访问以测试 ionic 应用程序,但仍从 localhost 提供文件
- kubernetes - iam ConfirmSubscription 权限错误
- odbc - 在 Windows 10 上找不到 Lotus Notes ODBC
- reactjs - 我们可以在一个组件中有多个 useEffect 挂钩吗