java - java dbcp2多线程连接访问
问题描述
我对在 tomcat 上使用连接池非常熟悉,并且多年来一直使用它没有问题。然而,目前我正在开发一个 main 方法应用程序,该应用程序出于性能原因需要同时运行线程,并且这些线程每个都需要访问同一个数据库。如果我完全剥离数据库代码并且仅将数组用于测试目的(例如多线程工作),我的代码就可以工作了,但是一旦我重新添加数据库连接,第一个线程就会获得锁定,而其他线程则不会'根本跑不起来。玩过c3p0、dbcp2;目前正在使用 dbcp2。谢谢!那里有大量文档,但似乎特定于我的用例的代码示例并不多。这是一个示例应用程序:
import java.sql.*;
import org.apache.commons.dbcp2.ConnectionFactory;
import org.apache.commons.dbcp2.DriverManagerConnectionFactory;
import org.apache.commons.dbcp2.PoolableConnection;
import org.apache.commons.dbcp2.PoolableConnectionFactory;
import org.apache.commons.dbcp2.PoolingDataSource;
import org.apache.commons.dbcp2.PoolingDriver;
import org.apache.commons.dbcp2.Utils;
import org.apache.commons.pool2.ObjectPool;
import org.apache.commons.pool2.impl.GenericObjectPool;
public class SandboxApp {
private static BasicDataSource dataSource;
public static BasicDataSource getDataSource() {
if (dataSource == null) {
BasicDataSource ds = new BasicDataSource();
ds.setUrl("jdbc:mysql://localhost:3306/my-db");
ds.setUsername("root");
ds.setPassword("");
ds.setDriverClassName("org.mariadb.jdbc.Driver");
ds.setInitialSize(3);
ds.setMaxTotal(25);
ds.setMinIdle(0);
ds.setMaxIdle(8);
ds.setMaxOpenPreparedStatements(100);
dataSource = ds;
}
return dataSource;
}
public static void main(String [] args) throws Exception{
for(int i=0; i<11; i++){//spawn 11 threads & get each thread to process 600k sql rows at the same time
new Thread("" + (i*600000)){
public void run(){
System.out.println("Thread: " + getName() + " running");//prints correctly for all threads
Connection con = null;
PreparedStatement pstmt = null;
ResultSet rs = null;
try {
con = SandboxApp.getDataSource().getConnection();
pstmt = con.prepareStatement("select something from some_table limit "+getName()+",600000");
rs=pstmt.executeQuery();
while(rs.next()){
System.out.println("Doing stuff for thread "+getName());//this only prints for getName() == 0
//give the other threads a turn...
try {
Thread.sleep(10);
}
catch(InterruptedException ex) {
}
}
} catch (Exception e) {
e.printStackTrace();
}finally{
try {pstmt.close();} catch (SQLException e) {}
try { con.close(); } catch(Exception e) {}
try { rs.close(); } catch(Exception e) {}
}
}
}.start();
}
}
}
解决方案
@user207421 是对的,getDataSource() 方法应该是同步的,当然我已经尝试过了;但是,这仍然没有解决我的线程“0”不让其他线程轮流的问题。
我从我的代码、所有其他库等中剥离了所有内容。直到我让它工作,然后重新开始构建它以找到断点。似乎主要的决定因素是 ResultSet 的大小。我尝试在不同的地方添加额外的 thread.sleep 时间,但是唯一有效的方法是分解查询以请求更小的结果集。
600k 结果集,只有 1 个线程将运行,1k ResultSets 和 4 个线程将运行。如果 ResultSet 仅包含 100 行,则所有 11 个线程都将运行。请注意,我是在一个 16 CPU 系统上测试的,其中 8GB 内存分配给 JVM (aws m5.4xlarge),所以硬件资源不应该是一个促成因素。所以我想我只需要把我的代码分成更小的块。
当我最初研究这个问题时,我很惊讶缺乏针对这个特定问题的特定代码示例(无论 ResultSet 大小和线程数如何),所以我只是在这里发布最终对我有用的东西完整的代码示例:
import java.sql.*;
import org.apache.commons.dbcp2.BasicDataSource;
public class SandboxApp {
private static BasicDataSource dataSource;
public static synchronized BasicDataSource getDataSource() {
if (dataSource == null) {
BasicDataSource ds = new BasicDataSource();
ds.setUrl("jdbc:mysql://localhost:3306/my-db");
ds.setUsername("root");
ds.setPassword("");
ds.setDriverClassName("org.mariadb.jdbc.Driver");
ds.setInitialSize(3);
ds.setMaxTotal(25);
ds.setMinIdle(0);
ds.setMaxIdle(8);
ds.setMaxOpenPreparedStatements(100);
dataSource = ds;
}
return dataSource;
}
public static void main(String [] args) throws Exception{
for(int i=0; i<11; i++){//spawn 11 threads & get each thread to process 100 sql rows at the same time
new Thread("" + (i*100)){
public void run(){
System.out.println("Thread: " + getName() + " running");
Connection con = null;
PreparedStatement pstmt = null;
ResultSet rs = null;
try {
con = SandboxApp.getDataSource().getConnection();
pstmt = con.prepareStatement("select something from some_table limit "+getName()+",100");
rs=pstmt.executeQuery();
while(rs.next()){
System.out.println("Doing stuff for thread "+getName());//With smaller ResultSet, this works fine for all 11 threads
//give the other threads a turn...
try {
Thread.sleep(10);
}
catch(InterruptedException ex) {
}
}
} catch (Exception e) {
e.printStackTrace();
}finally{
try {pstmt.close();} catch (SQLException e) {}
try { con.close(); } catch(Exception e) {}
try { rs.close(); } catch(Exception e) {}
}
}
}.start();
}
}
}
推荐阅读
- anylogic - 如何使用 Main 中的 (randomWhere) 选择代理
- python - 在python中将列表中的行和列添加到csv
- c# - UWP 列表框 ForEach
- c - C:指针的有效性
- javascript - Node.js 中的文件缓冲区是什么?
- android - ViewPager 内的水平 RecyclerView 不滚动
- openmp - 使用 LLVM Clang 编译 NAS Parallel Benchmarks 会出错
- python-3.x - CNN-尝试使用 seaborn.heatmap 运行混淆矩阵
- c# - 在 IISIntegration 上运行 ASP.NET Core 应用程序时,Program.Main 会发生什么?
- c# - Azure 上缺少 mvc dll。怎么了?