时间戳

首页 > 解决方案 > 任意选择使用带有即时客户端的 cx_Oracle 失败

python - 任意选择使用带有即时客户端的 cx_Oracle 失败

问题描述

我正在尝试使用 cx_Oracle 从 ORACLE 12c 数据库中选择数据，但出现异常：“cx_Oracle.OperationalError: ORA-03113: end-of-file on communication channel”。

我的查询使用 Pycharm（jdbc:oracle:thin 驱动程序）表现良好。但是，在 python 3.6 中使用 cx_Oracle 时，查询会失败，除非我将 IN 子句中的 ID 数量从 500 减少到大约 250。Cursor.fetchall() 函数是引发异常的原因。我没有对数据库的特权访问以检查锁定或负载等内容，但这些可能是问题的原因吗？根据我们的 DBA 的说法，Oracle 数据库服务器上没有任何问题，而且由于查询工作正常，否则我倾向于相信它。我也弄乱了客户端 sqlnet.ora，它允许异常最终被抛出而不是永远挂起，但我仍然无法获取数据。

def select(self, query, *args):
    cur = self.dbh.cursor()
    cur.prepare(query)
    try:
        cur.execute(None, args)
        return cur.fetchall()
    # my attempt to handle the issue
    except (cx_Oracle.OperationalError, cx_Oracle.DatabaseError) as e:
        # cx_Oracle.OperationalError: ORA-03113: end-of-file on communication channel
        self.logger.error('Oracle Error: {}'.format(traceback.format_exc()))
        raise e

代码像这样调用 select 。为简洁起见，我省略了完整的字符串 ID

ids = ['1', '2', '3', ...]
query = """\
select * from my_table where id in(:0,:1,:2,:3,:4, ...)
"""
self.select(query, *ids)

如果没有占位符（ID 直接放在查询中），查询也会失败。

我希望能够使用最多 1000 个 ID 的 IN 子句运行任何选择查询，而不会收到 ORA-03113 异常。

编辑：我在 ubuntu 18.04.2 上安装了 oracle-instantclient18.5-basic-18.5.0.0.0-3.x86_64.rpm*，有 cx_Oracle 版本 7.1.2，我正在连接到 Oracle 12.1.0.2.0。

该查询针对 BMC Software 的 ARS 的基础表。我将开始尝试使用本地表结构来复制问题，但它是一团糟，需要一些时间。如果我能够创建表的本地副本，我不确定我是否能够复制该问题，因为具有不同 ID 的相同查询可以正常工作。这使它看起来是数据驱动的，但是，在我将查询减少到 250 个 ID 后，我将前半部分的 250 个交换到后半部分，并获得了相同的成功结果，所以它似乎不仅仅是一个坏行.

我可以在客户端启用更多有用的日志记录以获取更多信息吗？

Edit2：我还应该补充一点，这个问题不仅仅发生在一个查询中。我在选择查询完全不同的表时看到了同样的问题。

Edit3：我刚刚发现通过注释掉我选择的一些列也可以使查询工作。像这样的列：

to_char(to_date('1970-01-01','YYYY-MM-DD') + numtodsinterval(EventStart,'SECOND'),'YYYY-MM-DD HH24:MI:SS')

这可能表明正在达到某种超时，可能会或可能不会在我的 sqlnet.ora 中配置：

DISABLE_OOB=on
SQLNET.RECV_TIMEOUT=60
SQLNET.SEND_TIMEOUT=60
TCP.CONNECT_TIMEOUT=300
SQLNET.OUTBOUND_CONNECT_TIMEOUT=300
ENABLE=BROKEN
TRACE_LEVEL_CLIENT=ADMIN
TRACE_FILE_CLIENT=sqlnet

编辑4：我尝试了更多的东西。

我安装了相同版本的即时客户端（Windows 7 机器除外），并对同一个数据库实例运行相同的查询。查询成功。

我还缩小了对于这个特定查询的范围，它将接受 499 个 ID，但以 500 个失败。我从查询中注释掉哪个 ID 并不重要。

我还尝试通过使用子选择来欺骗查询，使其认为 ID 更少：

IN(
    select regexp_substr(:0,'[^,]+', 1, level) from dual connect by regexp_substr(:0, '[^,]+', 1, level) is not null
)

我收到错误“cx_Oracle.DatabaseError: ORA-01460: unimplemented or unreasonable conversion requested”，之后我意识到这是有道理的，因为 Oracle 只允许字符串最长为 4000 字节。

标签： pythoncx-oracle

解决方案

我想我终于找到了让一切正常运转的方法。我终于遇到了这个链接：

https://ardentperf.com/2010/09/08/mysterious-oracle-net-errors/

事实证明，这解决了我的问题。我仍然无法让 cx_Oracle 接受与 tnsnames.ora 文件格式相同的连接字符串，但我现在更改了代码以引用 tnsnames.ora，如下所示：

connection_info = {
    'user': self.config.get(self.db, 'user'),
    'pass': self.config.get(self.db, 'password')
}
connection_string = '{user}/{pass}@TEST'\
    .format(**connection_info)
connection = cx_Oracle.connect(connection_string)

我的 tnsnames.ora 包含以下内容：

TEST =
 (DESCRIPTION =
   (ADDRESS_LIST =
     (ADDRESS = (PROTOCOL = TCP)(Host = myhost.com)(Port = 1521))
   )
   (SDU=1024)
 (CONNECT_DATA =
   (SID=mysid)
 )
)

这里的关键是 SDU=1024，它莫名其妙地解决了这个问题。

https://docs.oracle.com/cd/B28359_01/network.111/b28317/sqlnet.htm#NETRF184

来自上述链接的文档表明 SDU 的默认值为 8192 字节 (8 KB)，我的理解是应该自动协商该值。情况似乎并非如此，我不知道过去的默认设置是什么。

推荐阅读