时间戳

首页 > 解决方案 > 如何使用通道在 go 例程之间传递字节片

go - 如何使用通道在 go 例程之间传递字节片

问题描述

我有一个从 a 读取数据source并将它们发送到destination. 源和目标可以是任何东西，假设这个例子的源是数据库 (any MySQL, PostgreSQL...) 而目标是distributed Q(any... ActiveMQ, Kafka)。消息以字节存储。

这是主要功能。想法是它将旋转一个新的 go 例程并等待返回消息以供将来处理。 

type Message []byte

func (p *ProcessorService) Continue(dictId int) {
    level.Info(p.logger).Log("process", "message", "dictId", dictId)
    retrieved := make(chan Message)

    go func() {
        err := p.src.Read(retrieved, strconv.Itoa(p.dictId))
        if err != nil {
            level.Error(p.logger).Log("process", "read", "message", "err", err)
        }
    }()

    for r := range retrieved {
        go func(message Message) {
            level.Info(p.logger).Log("message", message)
            if len(message) > 0 {
                if err := p.dst.sendToQ(message); err != nil {
                    level.Error(p.logger).Log("failed", "during", "persist", "err", err)
                }
            } else {
                level.Error(p.logger).Log("failed")
            }
        }(r)
    }
}

这是读取功能本身

func (s *Storage) Read(out chan<- Message, opt ...string) error {

    // I just skip some basic database read operations here
    // but idea is simple, read data from the table / file row by row and 
    // 
    for _, value := range dataFromDB {
            message, err := value.row 
            if err == nil {
                out <- message
            } else {
                errorf("Unable to get data %v", err)
                out <- make([]byte, 0)
            }
        }
    })

    close(out)

    if err != nil {
        return err
    }

    return nil
}

如您所见，通信是通过 out chan<- 消息通道完成的。我对继续功能的关注，特别是这里

for r := range retrieved { 
   go func(message Message) {
       // basically here message and r are pointing to the same underlying array
   }
}

当接收到的数据var r是一种切片字节时。然后它传递给go func(message Message)go 中按值传递的所有内容，在这种情况下var r将作为副本传递给匿名 func，但是它仍然具有指向底层切片数据的指针。我很好奇它在执行过程中是否会出现问题，p.dst.sendToQ(message);同时读取函数会发送一些东西out channel导致切片数据结构被新信息覆盖。我应该r在传递给匿名函数之前将字节切片复制到新的字节切片中，这样底层数组会有所不同吗？我对其进行了测试，但并不能真正导致这种行为。不确定我是偏执狂还是不得不担心。

标签： goslicechannel

解决方案

messagein与从数据库获取数据时的p.dst.sendToQ(message)切片相同。value.row所以，只要每个value.row都有不同的底层数组，你应该是好的。因此，我建议您检查源代码并确保它不使用公共字节数组并不断对其进行重写。

推荐阅读