命名实体识别的语料和代码

抱歉~之前比较忙,有很多朋友在我前几篇文章中留言都没有来得及回复,不过大部分留言都是找我要语料和代码的,貌似我在那几篇文章里写的不太清楚,这里就统一整理一下吧。

1.用规则做命名实体识别

原文:用规则做命名实体识别——NER系列(一)

这篇博文就不放出代码了,因为现在基本上不用规则做命名实体识别,当然除非你在某些特定的语料有规律,就完全可以用正则表达式来做。

2.用HMM做命名实体识别

原文:用隐马尔可夫模型(HMM)做命名实体识别——NER系列(二)

代码和语料:https://github.com/lipengfei-558/hmm_ner_organization

3.用CRF做命名实体识别

原文:用CRF做命名实体识别——NER系列(三)

这篇博文是根据我参加的一个比赛写的,当时用到了纯CRF方法,比赛介绍:
https://www.datafountain.cn/competitions/269/details/rule

数据集:https://pan.baidu.com/s/1hdC_W9E62w3Akzlo5pnQuA

用到了CRF++(版本0.58), CRF++ 下载地址:https://pan.baidu.com/s/11lsCwRlJ5DyfVM3NxH61iw

使用方法直接参考官方文档:http://taku910.github.io/crfpp/,或者直接参考网上教程。主要涉及到两点,一是数据的预处理,二是CRF++的模板,事实上,用默认模板也能取得不错的效果。想要更好的效果,就得好好设计一下模板,尝试把一些词性、特征词等特征加进去,不赘述了~

4.LSTM+CRF做命名实体识别

原文:用双向lstm+CRF做命名实体识别(附tensorflow代码)——NER系列(四)

代码是一个老哥在github上开源的,基于tensorflow:https://github.com/guillaumegenthial/sequence_tagging

CoNLL-2003语料集下载地址:https://pan.baidu.com/s/1Pps7QIfePoxc1t8iNSSafg

上面这个是已经做好预处理的语料集,也可以直接用在CRF++上。

最后祝大家新年快乐~

《命名实体识别的语料和代码》有8个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注