mysql - 批量 MySQL 插入比 PHP 慢 2 倍
问题描述
我一直在测试 Go,希望将它用于一个新站点,并希望确保它与 PHP 一样快或更快。因此,我在 Go 和 PHP 中进行了批量插入的基本测试,因为我需要批量插入。
我的测试使用事务、准备好的语句、同一台机器、完全相同的表定义、没有索引但只有 PK,以及函数中的相同逻辑。
结果:
- PHP (mysqli) 中的 100k 插入是 4.42 秒
- Go (Go-MySQL-Driver) 中的 100k 插入是 9.2 秒
我正在使用的 go mysql 驱动程序是在这里找到的最流行的“Go-MySQL-Driver”:https ://github.com/go-sql-driver/mysql
我想知道是否有人可以告诉我我的 go 代码是否设置不正确,或者这就是 go 的样子。
这些函数为一些行变量添加了一些可变性,因此每一行都不相同。
去功能:
func fill_table(w http.ResponseWriter, r *http.Request, result_string *string, num_entries_to_add int) {
defer recover_show_error(result_string)
db := getDBConn()
defer db.Close()
var int_a int = 9
var int_b int = 4
var int_01 int = 1
var int_02 int = 1451628000 // Date Entered (2016-1-1, 1am)
var int_03 int = 11
var int_04 int = 0
var int_05 int = 0
var float_01 float32 = 90.0 // Value
var float_02 float32 = 0
var float_03 float32 = 0
var text_01 string = ""
var text_02 string = ""
var text_03 string = ""
start_time := time.Now()
tx, err := db.Begin()
if err != nil {
panic(err)
}
stmt, err := tx.Prepare("INSERT INTO " + TABLE_NAME +
"(`int_a`,`int_b`,`int_01`,`int_02`,`int_03`,`int_04`,`int_05`,`float_01`,`float_02`,`float_03`,`text_01`,`text_02`,`text_03`) " +
"VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?)")
if err != nil {
panic(err)
}
defer stmt.Close()
var flip int = 0
for i := 0; i < num_entries_to_add; i++ {
flip = ((int)(i / 500)) % 2
if flip == 0 {
float_01 += .1 // add to Value
} else {
float_01 -= .1 // sub from Value
}
int_02 += 1 // add a second to date.
_, err = stmt.Exec(int_a, int_b, int_01, int_02, int_03, int_04, int_05, float_01, float_02, float_03, text_01, text_02, text_03)
if err != nil {
panic(err)
}
}
err = tx.Commit()
if err != nil {
panic(err)
}
elapsed := time.Since(start_time)
*result_string += fmt.Sprintf("Fill Table Time = %s</br>\n", elapsed)
}
PHP函数:
function FillTable($num_entries_to_add){
$mysqli= new mysqli("localhost", $GLOBALS['db_username'], $GLOBALS['db_userpass'], $GLOBALS['database_name']);
if ($mysqli->connect_errno == 0) {
$int_a = 9;
$int_b = 4;
$int_01 = 1;
$int_02 = 1451628000; // Date Entered (2016-1-1, 1am)
$int_03 = 11;
$int_04 = 0;
$int_05 = 0;
$float_01 = 90.0; // Value
$float_02 = 0;
$float_03 = 0;
$text_01 = "";
$text_02 = "";
$text_03 = "";
$mysqli->autocommit(FALSE); // This Starts Transaction mode. It will end when you use mysqli->commit();
$sql = "INSERT INTO " . $GLOBALS['table_name'] .
"(`int_a`,`int_b`,`int_01`,`int_02`,`int_03`,`int_04`,`int_05`,`float_01`,`float_02`,`float_03`,`text_01`,`text_02`,`text_03`) " .
"VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?)";
$start_time = microtime(true);
if($stmt = $mysqli->prepare($sql)) {
$stmt->bind_param('iiiiiiidddsss', $int_a, $int_b, $int_01, $int_02, $int_03, $int_04, $int_05, $float_01, $float_02, $float_03, $text_01, $text_02, $text_03);
$flip = 0;
for ($i = 1; $i <= $num_entries_to_add; $i++) {
$flip = ((int)($i / 500)) % 2;
if ($flip == 0) {
$float_01 += .1; // add Value
}
else {
$float_01 -= .1; // sub Value
}
$int_02 += 1; // add a second to date.
$stmt->execute(); //Executes a prepared Update
}
$mysqli->commit(); // Transaction mode ends now
$stmt->close(); //Close statement
}
$execute_time = microtime(true) - $start_time;
echo $GLOBALS['html_newline'] . $GLOBALS['html_newline'] .
'FillDataEntryTable Speed: '.$execute_time.' sec' . $GLOBALS['html_newline'] . $GLOBALS['html_newline'];
$thread_id = $mysqli->thread_id; // Get MySQL thread ID
$mysqli->kill($thread_id); // Kill MySQL Server connection
$mysqli->close(); // Close MySQL Server connection
}
}
解决方案
在我的测试中,我尝试使用 php、golang 和 java 来为我的新网站使用哪种语言。我对任何一种语言都没有太多经验,所以我在这里说的任何东西将来都可以被某人纠正。
我的主要测试是批量插入 mysql 数据库,因为我将需要它用于应用程序。
我想摆脱 php,因为它是一种非编译的旧脚本语言,在许多方面比 golang 和 java 慢。对于许多事情来说,这也是一种尴尬的语法。然而,对于大型“事务”,php mysqli 实际上比 golang 快 2 倍,除非您笨拙地生成许多 go-routine 来划分工作。
在我的测试和研究中,我发现了一些事情。
PHP mysqli“事务”api 可能使用某种批处理操作来完成“事务”,因为 mysqli 没有单独的批处理函数并且事务比单个插入更快。但在大多数其他语言中,事务不会自动批处理所有内容,甚至不会增加执行时间。它们只是一种在出现问题时回滚事务中所有内容的机制。在其他语言中增加执行时间的是使用批处理。
但是现在 go mysql 接口的一大问题似乎是对批处理操作没有真正的支持。我得到的最接近的是 jerry rig one 并按照这篇文章( golang - mysql Insert multiple data at once?)指出的那样进行我自己的批处理操作。这样做我能够将 go 中的执行时间从 9.2 秒缩短到 3.9 秒,而无需产生其他 go 例程。但是由于没有真正的支持,批处理操作只为批处理的第一个操作返回一个结果集。这对我来说毫无价值,因为我需要为插入的行返回 autoinc Id。这个设置还有其他问题,我不会讨论。
所以最后我在tomcat服务器上尝试了java。Tomcat/java 安装比 go 更复杂一些,但是用 java 编程要容易得多和自然得多。JDBC 是一个优秀的驱动程序,它完全支持使用准备好的语句进行简单的批处理操作。它仅在 1 秒内完成了 100k 次插入。在我的书中,这是明显的赢家。加上 java 语法比 golang IMO 更自然。
推荐阅读
- php - 在函数php中不使用类的原因是什么
- angular - 我如何在角度使用氦气?
- python - 如何将 Dash 与 Beeware for Android 应用程序一起使用?
- python - Python - Boto3 - dict 没有属性“InstanceId”
- c# - 将带有聚合的 Linq 查询绑定到 ListView WPF C#
- django - Django 预订系统
- javascript - Console.log 返回函数而不是数组
- node.js - 如何解决 parquetjs 库问题 - 异步错误?
- r - 使用 R,使用 dplyr:select 获取“无法绑定数据,因为某些参数具有相同的名称”
- python-3.x - 一切正常,除了它要求用户在程序开始时输入两次温度和速度