1500字范文 > WordPiece BPE详解及代码

WordPiece BPE详解及代码

时间：2023-12-28 12:35:32

相关推荐

WordPiece BPE详解及代码

1.BPE是干什么用的？

WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。

WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。

“loved”,“loving”,“loves"这三个单词。其实本身的语义都是“爱”的意思，但是如果我们以单词为单位，那它们就算不一样的词，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。

BPE算法通过训练，能够把上面的3个单词拆分成"lov”,“ed”,“ing”,"es"几部分，这样可以把词的本身的意思和时态分开，有效的减少了词表的数量。

BPE的作用如下：

1.传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题：out of vocabulary）

2.传统词tokenization方法不利于模型学习词缀之前的关系

3.Character embedding作为OOV的解决方法粒度太细

4.Subword粒度在词与字符之间，能够较好的平衡OOV问题

2.BPE算法

1.准备足够大的训练语料

2.确定期望的subword词表大小

3.将单词拆分为字符序列并在末尾添加后缀“ </ w>”，统计单词频率。本阶段的subword的粒度是字符。例如，“ low”的频率为5，那么我们将其改写为“ l o w </ w>”：5

(备注：为什么加入"< /w >"在解码阶段有说明)

4.统计每一个连续字节对的出现频率，选择最高频者合并成新的subword

5.重复第4步直到达到第2步设定的subword词表大小或下一个最高频的字节对出现频率为1

例子

{'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3}Iter 1, 最高频连续字节对"e"和"s"出现了6+3=9次，合并成"es"。输出：{'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w es t </w>': 6, 'w i d es t </w>': 3}Iter 2, 最高频连续字节对"es"和"t"出现了6+3=9次, 合并成"est"。输出：{'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w est </w>': 6, 'w i d est </w>': 3}Iter 3, 以此类推，最高频连续字节对为"est"和"</w>" 输出：{'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'w i d est</w>': 3}Iter n, 继续迭代直到达到预设的subword词表大小或下一个最高频的字节对出现频率为1。

说明

每次合并后词表可能出现3种变化：

+1，表明加入合并后的新字词，同时原来在2个子词还保留（2个字词不是完全同时连续出现）

+0，表明加入合并后的新字词，同时原来2个子词中一个保留，一个被消解（一个字词完全随着另一个字词的出现而紧跟着出现）

-1，表明加入合并后的新字词，同时原来2个子词都被消解（2个字词同时连续出现）

实际上，随着合并的次数增加，词表大小通常先增加后减小。

3.BPE代码实现

import re, collectionsdef get_stats(vocab):pairs = collections.defaultdict(int)for word, freq in vocab.items():symbols = word.split()for i in range(len(symbols)-1):pairs[symbols[i],symbols[i+1]] += freqreturn pairsdef merge_vocab(pair, v_in):v_out = {}bigram = re.escape(' '.join(pair))p = pile(r'(?<!\S)' + bigram + r'(?!\S)')for word in v_in:w_out = p.sub(''.join(pair), word)v_out[w_out] = v_in[word]return v_outvocab = {'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3}num_merges = 1000for i in range(num_merges):pairs = get_stats(vocab)if not pairs:breakbest = max(pairs, key=pairs.get)vocab = merge_vocab(best, vocab)print(best)# print output# ('e', 's')# ('es', 't')# ('est', '</w>')# ('l', 'o')# ('lo', 'w')# ('n', 'e')# ('ne', 'w')# ('new', 'est</w>')# ('low', '</w>')# ('w', 'i')# ('wi', 'd')# ('wid', 'est</w>')# ('low', 'e')# ('lowe', 'r')# ('lower', '</w>')

编码：构建完词表之后，对词表按照长度进行排序。对于要预训练的text，先将其按照词表的顺序进行分解(即编码)。

如下例子：

# 给定单词序列[“the</w>”, “highest</w>”, “mountain</w>”]# 假设已有排好序的subword词表[“errrr</w>”, “tain</w>”, “moun”, “est</w>”, “high”, “the</w>”, “a</w>”]# 迭代结果"the</w>" -> ["the</w>"]"highest</w>" -> ["high", "est</w>"]"mountain</w>" -> ["moun", "tain</w>"]

解码：

# 编码序列[“the</w>”, “high”, “est</w>”, “moun”, “tain</w>”]# 解码序列“the</w> highest</w> mountain</w>”

直接拼接起来，"< /w >"就可以隔离开不同的单词。所以，加入"< /w >"是为了在解码阶段隔离开不同的单词。