评测基准与数据下载

针对文言文献通假现象对机器理解古汉语造成的障碍,本资源库构建了面向古汉语自然语言处理的标准评测基准,并提供论文客观基线实验结果与在线样本查检;全量语料库、知识库与评测集开源数据均提供校验哈希与标准学术引用说明。

评测任务设计与数据分布

任务一:通假字检测 (Tongjiazi Detection)

判断文言语句中是否包含通假现象,并输出通假字在文本中的位置标签。

基础版 (Based Detection):2,204 条。测试集通假字均在训练集中出现过,考查已知通假规则的消歧与定位。
拓展版 (Extended Detection):15,474 条。测试集通假字从未在训练集中出现(未登录通假字),考查无监督泛化与零样本识别能力。
任务二:正字识别 (Zhengzi Recognition)

在已知通假字位置的前提下,结合上下文语境预测其所对应的正字。

基础版 (Based Recognition):1,000 条。预测目标正字在训练集见过的通假对中。
拓展版 (Extended Recognition):1,000 条。预测目标正字属于全新未见过的通假对组合。

基线模型客观评测结果(摘自论文表 5、6、7)

表 1:通假字检测任务(基础版)基线性能对比(论文表 5)
模型模型类型精确率 (Precision)召回率 (Recall)F1 值
DaizhigeBigram (2-gram)统计语言模型7.55%22.26%11.27%
SikuBigram (2-gram)统计语言模型9.21%18.52%12.30%
DaizhigeTrigram (3-gram)统计语言模型7.56%18.62%10.75%
SikuTrigram (3-gram)统计语言模型10.00%11.80%10.83%
DaizhigeGPT2预训练生成模型8.59%22.74%12.47%
SikuGPT2预训练生成模型10.84%17.47%13.38%
DaizhigeBERT预训练掩码模型20.24%55.28%29.63%
SikuBERT预训练掩码模型29.09%57.49%38.63%
TongjiaziDetectionDaizhigeBERT本研究微调模型65.02%64.40%64.71%
TongjiaziDetectionSikuBERT本研究微调模型64.25%69.87%66.94%
TongjiaziDetectionSikuBERT (无混淆集)本研究微调模型61.96%70.35%65.89%
表 2:通假字检测任务(拓展版 / 未登录通假字)基线性能对比(论文表 6)
模型测试设定精确率 (Precision)召回率 (Recall)F1 值
TongjiaziDetectionDaizhigeBERT (无混淆集)未登录通假字检测32.94%16.10%21.63%
TongjiaziDetectionSikuBERT (无混淆集)未登录通假字检测29.48%16.53%21.18%
表 3:正字识别任务基线性能对比(准确率 Accuracy,论文表 7)
模型基础版准确率 (Based Acc)拓展版准确率 (Extended Acc)
DaizhigeBigram (2-gram)34.55%13.18%
SikuBigram (2-gram)40.69%14.31%
DaizhigeTrigram (3-gram)33.11%11.38%
SikuTrigram (3-gram)30.71%9.93%
DaizhigeGPT240.79%13.99%
SikuGPT243.38%14.78%
DaizhigeBERT35.22%12.97%
SikuBERT42.32%14.90%
ZhengziRecognitionDaizhigeBERT65.64%19.88%
ZhengziRecognitionSikuBERT61.61%18.96%

评测数据集全量检索与在线浏览

收录论文 4 个子任务共 23,935 条标准评测样本,支持关键词长句匹配、自定义分页与单条评测数据 JSON 结构查检。

子任务
每页条数:
1,772 条 · 第 1 / 178 页
#1基础检测
评测输入文本 (Input Sentence):

微臣呵,寸心赤,只有吾皇鑒昭。

标准标注输出 (Target / Output):
无通假 (负样本)
#2基础检测
评测输入文本 (Input Sentence):

子既若是矣,猶與堯争善。

标准标注输出 (Target / Output):
无通假 (负样本)
#3基础检测
评测输入文本 (Input Sentence):

嶺南之葆愛族制,其始亦以分北俚繇,久則氾濫及同種。

标准标注输出 (Target / Output):
3
#4基础检测
评测输入文本 (Input Sentence):

訛謬相承,亡復辯訂。

标准标注输出 (Target / Output):
7
#5基础检测
评测输入文本 (Input Sentence):

俞者,然也。然其所請也。

标准标注输出 (Target / Output):
无通假 (负样本)
#6基础检测
评测输入文本 (Input Sentence):

虚氣浮響,雜然並作。

标准标注输出 (Target / Output):
5
#7基础检测
评测输入文本 (Input Sentence):

臣聞玉不隱瑕,臣不隱情。伏知所進非和氏之璞。

标准标注输出 (Target / Output):
无通假 (负样本)
#8基础检测
评测输入文本 (Input Sentence):

倐爍夕星流,昱奕朝露團。

标准标注输出 (Target / Output):
无通假 (负样本)
#9基础检测
评测输入文本 (Input Sentence):

悍酋乘城,殺傷士甚衆,忠嗣怒,募射者,晟挾一矢殪之,三軍讙奮。

标准标注输出 (Target / Output):
28
#10基础检测
评测输入文本 (Input Sentence):

善聽嚮言者,莫如聖人。有瞻言之聖人,言從作乂,而天下無嚮言之咎矣。

标准标注输出 (Target / Output):
27, 2
1,772 条评测样本 · 第 1 / 178 页
跳至

开源数据下载

与 GitHub 仓库 frederick-wang/tongjiazi-resources 保持完全一致的三个数据包

解压密码:BEIJING_NORMAL_UNIVERSITY
tongjiazi_corpus.zip
994.1 KB
ZIP 压缩包·12,499 行

通假字标注语料库压缩包(内含 corpus.jsonl),收录详加训诂与字音标注的传世典籍文言通假语句。

内含文件:corpus.jsonl
SHA-256 校验和:
309142a0575fd155a690e824813632ed9980c9d7ca9b900adf2fbb33bf08792a
下载 tongjiazi_corpus.zip
tongjiazi_knowledge_base.zip
1050.8 KB
ZIP 压缩包·4,248 通假字 / 8,009 通假关系 / 657 形声关系

通假字知识库压缩包,以汉字为节点、通假与形声关系为边,涵盖构形、读音及文献关联数据。

内含文件:nodes.jsonl, tongjia_links.jsonl, xingsheng_links.jsonl, yuliao.jsonl
SHA-256 校验和:
1ba04e1d4f7aebfba63f36e87c2311c78f4b2793402a6bf81b4c3d36b79b60f1
下载 tongjiazi_knowledge_base.zip
tongjiazi_evaluation.zip
891.1 KB
ZIP 压缩包·19,678 条评测样本

通假字识别评测集压缩包,涵盖通假字检测与正字识别两个核心任务的基础版与拓展版标准测试集。

内含文件:based_detection.jsonl, extended_detection.jsonl, based_recognition.jsonl, extended_recognition.jsonl
SHA-256 校验和:
67c5412b9bb72d057b581a63440193c2ef2931ad16a95f404589fa9c8eeed17d
下载 tongjiazi_evaluation.zip

数据与研究规范引用 (Citation Requirement)

若在学术论文、论著、语言模型评测、字词知识图谱或数字人文研究中使用了本资源库的语料、知识库或评测集,请按国家标准或学科权威规范注明以下文献出处:

GB/T 7714-2015 / 2025(顺序编码制)国家标准 · 期刊论文 (推荐)

王兆基, 张诗睿, 胡韧奋, 等. 古汉语通假字资源库的构建及应用研究[J]. 中文信息学报, 2024, 38(3): 152-162.

GB/T 7714-2015(著者-出版年制)国家标准 · 期刊论文

王兆基, 张诗睿, 胡韧奋, 张学涛, 2024. 古汉语通假字资源库的构建及应用研究[J]. 中文信息学报, 38(3): 152-162.

BibTeXLaTeX / 计算机科学
@article{wang-etal-2024-tongjiazi,
  title = {古汉语通假字资源库的构建及应用研究},
  author = {王兆基 and 张诗睿 and 胡韧奋 and 张学涛},
  journal = {中文信息学报},
  volume = {38},
  number = {3},
  pages = {152--162},
  year = {2024}
}
APA (7th Edition)国际心理与社科

王兆基, 张诗睿, 胡韧奋 & 张学涛. (2024). 古汉语通假字资源库的构建及应用研究. 中文信息学报, 38(3), 152-162.

MLA (9th Edition)国际文学与人文学科

王兆基, 等. "古汉语通假字资源库的构建及应用研究." 中文信息学报 38.3 (2024): 152-162.

Chicago (17th Edition, Author-Date)国际人文学术规范

王兆基, 张诗睿, 胡韧奋, 张学涛. 2024. "古汉语通假字资源库的构建及应用研究." 中文信息学报 38 (3): 152–162.

EndNote / NoteExpress / RefWorks文献管理导入 (RIS)

%0 Journal Article %T 古汉语通假字资源库的构建及应用研究 %A 王兆基 %A 张诗睿 %A 胡韧奋 %A 张学涛 %J 中文信息学报 %D 2024 %V 38 %N 3 %P 152-162