.net - 从文件加载的字符串上的 IndexOf - dotnet 5.0 的速度是 dotnetcore 3.1 的一半

Question

我刚刚发现我的一个文件扫描器在 dotnetcore 3.1 中运行得非常快，但在 dotnet 5 上运行速度非常慢。它做的事情有点不同，但 dotTrace 指向我使用的 IndexOf 方法。

我对此进行了一些测试：

var str = System.IO.File.ReadAllText("A text file of 125MB not containing hello in it");
start = DateTime.Now;
var result = str.IndexOf("hello");
var end = DateTime.Now;
Console.WriteLine("Done in " + end.Subtract(start).TotalSeconds + " seconds");

执行时间dotnet 3.1：2 秒

执行时间dotnet 5：3.6 秒

无论我是在发布版本还是调试版本中运行，都没有什么不同。

在我的现实世界案例中，差异要严重得多，但我认为这仍然表明了问题。

需要注意的重要一点是，如果我只是在内存中创建一个相同大小的字符串，比如 new string('a', size125mb) 那么它在两个运行时都非常快。

dotTrace 显示在 dotnet 5 中对字符串使用 indexOf 的情况，堆栈跟踪变为：

点网 5：

System.String.IndexOf(String, Int32)
System.String.IndexOf(String, Int32, Int32, StringComparison)
System.Globalization.CompareInfo.IndexOf(String, String, Int32, Int32, IndexOf  •  4,327 msSystem.Globalization.CompareInfo.IndexOf(ReadOnlySpan, ReadOnlySpan, CompareOptions)
IcuIndexOfCore

点网 3.1：

System.String.IndexOf(String, Int32)
System.String.IndexOf(String, Int32, Int32, StringComparison)
System.Globalization.CompareInfo.IndexOf(String, String, Int32, Int32, CompareOptions)
System.Globalization.CompareInfo.IndexOfCore(String, String, Int32, Int32, CompareOptions, Int32*)
System.Globalization.CompareInfo.FindString(UInt32, String, Int32, Int32, String, Int32, Int32, Int32*)

这实际上显示了在两种情况下执行的不同代码。结果是我的扫描仪在 5 秒内运行了整个加载的文本，并在 dotnet 3.1 上找到了 12k 个条目，但它在 dotnet 5 中每秒只扫描 2 行。

谁能告诉我这是否只是因为我必须在 dotnet 5 中以另一种方式做事，或者他们是否犯了一个小错误，导致在 dotnet 5 上如此缓慢？

更新 1：

在 dotnet 5 上调用 System.IO.File.ReadAllText 似乎也慢了很多（它是在两种情况下加载的相同文件）

更新 2：

我做了另一个例子，显示了 x10 的性能差异：

var stopwatch = new Stopwatch();
stopwatch.Start();
var str = System.IO.File.ReadAllText("125mb txt file");
Console.WriteLine($"File loaded in {stopwatch.Elapsed.TotalSeconds} seconds");
stopwatch.Restart();

int index = 0;
int foo = 0;
int counter = 0;
while(index < str.Length - 10)
{
    counter++;
    foo = str.IndexOf("AW()=DAW=)DA=)WDUAOWIDJAOWID", index, 10);
    index += 10;
    if (foo > 0)
       throw new Exception("Will never happen but dotnet does not know so it cannot remove the body as part of code optimization");
}

Console.WriteLine($"File iterated in {stopwatch.Elapsed.TotalSeconds} seconds, " + counter + " iterations");

使用dotnet 5输出：

使用dotnet 3.1输出

标签： .netperformanceindexof