前言

随着深度学习的普及，有越来越多的研究应用新模型到中文分词上，让人直呼“手快有，手慢无”。不过这些神经网络方法的真实水平如何？具体数值多少？以Sighan05中的PKU数据集为例，真像一些论文所言，一个LSTM-CRF就有96.5%吗？或者像某些工业界人士那样，动辄“基于深度学习的98%准确率”，“99% 的分词成功率”吗？

如果数字真的这么好看，那中文分词这个课题几乎没有研究意义了。更何况，中文分词标准难以统一，任何语料库都存在内部标注一致性（inter-annotator agreement）的问题。一些著名的语料库（如CTB）设有质量检测机制，虽然没有公布具体内部标注一致性数值，但Shen 抽样重新标注校验的CTB5在分词上的一致性才达到99.10%；可据此推测CTB的内部一致性低于99%。而其他著名语料库（如PKU、MSR等）则既没有公布一致性数值，也没有人做相关试验。国家语委语料库则简单地说了句“标注是指分词和词类标注，已经经过3次人工校对，准确率大于>98%”；综合学术界穷极特征工程与语言学资源（词典）的分词器不超过98%的分值这一事实来保守估计，这些语料库的一致性不会超过98%。而PKU分值几乎没有超过96%的，所以任何声称在PKU上拿到97%以上所谓“准确率”的说法，可信度都不高。

本文收集分析一些可信的state of art数据，尝试还原当前（左右）中文分词的真实面貌。联想到最近的造假