时间戳

首页 > 解决方案 > 在 Go 中组合存储在通道上的多个映射（相同键的值被求和。）

string - 在 Go 中组合存储在通道上的多个映射（相同键的值被求和。）

问题描述

我的目标是创建一个程序，以并行方式计算文本文件中每个唯一单词的出现次数，所有出现次数都必须显示在单个地图中。

我在这里所做的是将文本文件划分为字符串，然后划分为一个数组。然后将该数组分成两个长度相等的切片并同时馈送到映射器函数。

   func WordCount(text string)  (map[string]int) {
    wg := new(sync.WaitGroup)
    s := strings.Fields(newText)

    freq := make(map[string]int,len(s))
    channel := make(chan map[string]int,2)

    wg.Add(1)
    go mappers(s[0:(len(s)/2)], freq, channel,wg)
    wg.Add(1)
    go mappers(s[(len(s)/2):], freq, channel,wg)
    wg.Wait()

    actualMap := <-channel


    return actualMap

func mappers(slice []string, occurrences map[string]int, ch chan map[string]int, wg *sync.WaitGroup)  {
    var l = sync.Mutex{}
    for _, word := range slice {
        l.Lock()
        occurrences[word]++
        l.Unlock()

    }
    ch <- occurrences
    wg.Done()
}

底线是，我得到一个巨大的多行错误，开始于

致命错误：并发映射写入

当我运行代码时。我以为我是通过互斥来保护的

        l.Lock()
        occurrences[word]++
        l.Unlock()

我在这里做错了什么？此外。如何在一个频道中合并所有地图？与 combine 我的意思是相同键的值在新地图中求和。

标签： stringdictionarygoconcurrencychannel

解决方案

主要问题是您在每个 goroutine 中使用了单独的锁。这对序列化对地图的访问没有任何帮助。每个 goroutine 都必须使用相同的锁。

而且由于您在每个 goroutine 中使用相同的映射，因此您不必合并它们，也不需要通道来传递结果。

即使您在每个 goroutine 中使用相同的互斥锁，由于您使用单个 map，这可能对性能没有帮助，goroutines 将不得不相互竞争 map 的锁。

您应该在每个 goroutine 中创建一个单独的映射，使用它在本地进行计数，然后在通道上传递结果映射。这可能会给您带来性能提升。

但是你不需要锁，因为每个 goroutine 都有自己的映射，它可以在没有互斥锁的情况下读/写。

但是你必须在通道上传递结果，然后合并它。

而且由于 goroutines 在通道上传递结果，等待组就变得不必要了。

func WordCount(text string) map[string]int {
    s := strings.Fields(text)

    channel := make(chan map[string]int, 2)

    go mappers(s[0:(len(s)/2)], channel)
    go mappers(s[(len(s)/2):], channel)

    total := map[string]int{}
    for i := 0; i < 2; i++ {
        m := <-channel
        for k, v := range m {
            total[k] += v
        }
    }

    return total
}

func mappers(slice []string, ch chan map[string]int) {
    occurrences := map[string]int{}
    for _, word := range slice {
        occurrences[word]++

    }
    ch <- occurrences
}

测试它的示例：

fmt.Println(WordCount("aa ab cd cd de ef a x cd aa"))

输出（在Go Playground上试试）：

map[a:1 aa:2 ab:1 cd:3 de:1 ef:1 x:1]

另请注意，理论上这看起来“不错”，但实际上您可能仍然无法获得任何性能提升，因为 goroutine 所做的工作太“少”，并且启动它们并合并结果需要付出努力，这可能会超过好处。

推荐阅读