nlp - BERT权重计算
问题描述
我试图了解 BERT 权重计算。请向我推荐一些可以帮助我了解 BERT 内部工作原理的文章。我读过 Medium 的文章。
- https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100-million-parameters-b49113672f77
- https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1
我正在做一个小项目来了解来自不同来源的 Bert 预训练和微调。我的想法是计算每个令牌在他们自己的来源中的权重并找到所有权重的平均值以获得全局模型。然后这个全局模型可以用来微调不同的来源。
- 我怎样才能找到这些权重,以及如何从多个来源平均这些权重?
- 我可以想象它吗?那怎么办?
另外,请注意,我正在尝试使用 Bert 实现的 Tensorflow 版本,并计划对 NER 任务进行微调。
解决方案
推荐阅读
- smarty - 在产品列表中显示制造商名称 (Prestashop 1.7)
- python - 熊猫将值从一行复制到另一行
- sql-server - 将参数传递给 OPENQUERY
- php - PHP:找不到类 tcpdf 错误的路径
- ruby-on-rails - 如果它们相同,则删除 2D 数组中的第一个值
- python - 无法使用 Selenium 或 BeautifulSoup 抓取动态内容
- sql-server - 如何将 CSV 文件转换为 bcp 格式的文件?
- discord.py - 如何在 Discord.py 中设置一个不带前缀的命令,仅带有机器人回复的特定单词,并且机器人仅在 dm 中使用 bot 回复 thaat
- c# - 从控制台项目启动 asp net core webapp
- excel - 使用集合对象填充 Excel 表