c# - 需要不强制数据一致性的高性能 C# 集合

问题描述

我处于具有大型（很多大型对象）静态集合的大规模并行环境中。

我找不到任何不强制数据一致性的集合实现。他们都尝试使用内部锁定、版本控制（例如：List）或本地复制（例如：ConcurrentBag）来强制执行它。

List<T>效果很好，但使用版本控制和 Throw aInvalidOperation_EnumFailedVersion
ConcurrentBag<T>在我的代码中显示性能下降。它是 GC 密集型的，并假设一个生产者/消费者模式。出于数据一致性目的，它遍历包的“快照”（ThreadLocal），但我的内存受限。
我检查了上述两个集合的源代码Net Framework。Net Core

我需要一个具有以下功能的集合：

不要在任何时候隐式锁定。我会自己上锁。
不要抛出任何异常，因为我正在读取的数据可能不一致（非原子操作），我知道，没关系。
不要复制自己
需要是可变的
需要能够添加/删除一个元素（这可能需要一个明确的锁，我可以在这种罕见的情况下使用锁）
大小在编译时是未知的，最大大小是“直到系统内存不足和程序崩溃”。（无数组）
可用于 foreach 和 Parallel.ForEach
不需要订购
可以被多个线程读取，可以被多个线程同时写入。无论任何可能的数据一致性问题。（它不能在内部使用“版本”）

LinkedList<T>很有希望，但它似乎具有与 List 相同的“版本”一致性保护，来自源代码（https://github.com/dotnet/runtime/blob/master/src/libraries/System.Collections/src/System /Collections/Generic/LinkedList.cs#L564）：

if (_version != _list.version)
{
    throw new InvalidOperationException(SR.InvalidOperation_EnumFailedVersion);
}

我需要创建自己的实现吗？

标签： c#multithreading.net-core

您仍然可以使用 a ，并使用循环List<T>枚举它，处理可能发生的任何异常：forArgumentOutOfRangeException

public static IEnumerable<T> AsInconsistentEnumerable<T>(this List<T> list)
{
    for (int i = 0; i < list.Count; i++)
    {
        T current;
        try
        {
            current = list[i];
        }
        catch (ArgumentOutOfRangeException)
        {
            yield break;
        }
        yield return current;
    }
}

使用示例：

foreach (var item in myList.AsInconsistentEnumerable())
{
    //...
}

关于这个集合的大小，通过在 App.config 中Int32.MaxValue配置选项，您可以在 64 位平台上添加多达 20 亿个元素 ( )。gcAllowVeryLargeObjects

c# - 需要不强制数据一致性的高性能 C# 集合

问题描述

解决方案

推荐阅读