mysql - 优化 SQL 结果到 ScreenWriter
问题描述
我有一个程序可以读取文件文件夹(总共 4GB),对它们进行索引,然后将它们添加到链接的 SQL 数据库中。这一切都发生在表单甚至加载之前。
现在我希望有另一个文件,每行包含一个 13 位数字,并从 VB 查询 SQL 数据库,搜索每个数字以返回包含该数字的文件夹、文件和行号。
我下面的方法现在有效,但速度很慢。我需要找到一种更快的方法来直接转到文件中我的号码的特定行,并在该位置写入新的文本行。
Dim result = From n In System.IO.File.ReadLines("G:\USER\SearchThese.txt")
Select n.Substring(0, 13)
Dim MyFilePath As String
Dim linePos As String
Dim lines As String
'-- connection
Dim con As New SqlConnection(***MY SQL CONNECTION***)
Dim dataset As New DataSet
Dim datatable As DataTable
Dim dataadapter As New SqlDataAdapter
Dim sql As String
Dim i As Integer
'-- command
Dim cmd As New SqlCommand()
con.Open()
Using sw As New StreamWriter("G:\USER\TESTRUN1.txt")
For Each word As String In result
i = 0
sql = ("SELECT * FROM Test_Table WHERE DigNum = @word")
dataadapter = New SqlDataAdapter(sql, con)
dataadapter.SelectCommand.Parameters.AddWithValue("@word", word)
dataset = New DataSet()
dataadapter.Fill(dataset, "Test_Table")
While i < dataset.Tables("Test_Table").Rows.Count
linePos = dataset.Tables("Test_Table").Rows(i).Item(4).ToString()
MyFilePath = dataset.Tables("Test_Table").Rows(i).Item(1).ToString()
i += 1
Using sr As New StreamReader(MyFilePath)
For n As Integer = 1 To linePos
lines = sr.ReadLine
Next
sw.WriteLine(lines)
End Using
End While
Next
End Using
MsgBox("Complete!")
就像我说的那样,这很好用,但即使只搜索 5 个数字也需要相当长的时间。我猜流阅读器会减慢它的速度,但我不知道。
对于任何人来说,我的数据库表有这些列:
DigNum | FilPth | FilDte | DteAdd | LnePos
解决方案
在尝试优化这样一段代码的性能时,您需要逐个调用测量性能。您可以使用 Visual Studio 的分析工具执行此操作(请参阅:https ://docs.microsoft.com/en-us/visualstudio/profiling/profiling-feature-tour?view=vs-2017 )
获得这些数据后,您将能够直接查看导致性能问题的原因,而不是猜测。您还将进行测量,因此当您更改代码时,您可以查看性能是提高了还是变差了。这再次消除了过程中的猜测,这很重要,因为现代编译器和系统在幕后做了很多工作以提高性能,但很容易破坏这些优化。
推荐阅读
- xamarin - Xamarin 在 xamarin 项目中创建另一个 Android 项目
- r - 不创建 NA 的 Ifelse 条件
- swagger - Swagger @ApiResponse 应该显示错误对象列表,即列表
? 这怎么可能? - java - java将java httpClient参数注入自动装配的类构造函数
- javascript - 如何在 vega-lite 中更改饼图文本标签的颜色
- angular - 如何动态更改离子手势参考元素
- kubernetes - amazon-efs 失败,服务器给出的原因:没有这样的文件或目录
- python - 模型实例设置 || 未找到带有参数 '('',)' 的 '' 的反向操作。已尝试 1 种模式
- json - JSONDecodeError:期望','分隔符:第 9051348 行第 27 列(字符 226492416)
- java - 如何将两个不同的数组变成一个二维数组