设为首页收藏本站

NLP Code Studio

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 2525|回复: 14

[源码解析] LTP3.2分词模块源码解析

[复制链接]

该用户从未签到

600

主题

669

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
15110
发表于 2015-1-3 20:22:14 | 显示全部楼层 |阅读模式
LTP3.2分词模块源码解析

目录
前言......................................................................................................................................................... 3
第一章 分词类的简要说明 ....................................................................................................................... 4
SegmentorWrapper: 包裹类: ............................................................................................................ 5
Model 结构........................................................................................................................................ 9
SmartMap 结构................................................................................................................................ 12
IndexableSmartMap 结构 .................................................................................................................. 17
FeatureSpace 结构............................................................................................................................ 19
Parameters 结构............................................................................................................................... 21
Extractor 抽取器结构 ....................................................................................................................... 24
第二章 输出分词模型 ............................................................................................................................ 31
Makefile 配置文件 ........................................................................................................................... 31
输出 internal_lexicon ........................................................................................................................ 32
输出 labels ...................................................................................................................................... 34
输出 FeatureSpace............................................................................................................................ 35
输出 Parameter................................................................................................................................ 38
第三章 分词流程 ................................................................................................................................... 40
1. 初始化 Instance 对象................................................................................................................... 42
2. RuleBase 预处理字符串 ................................................................................................................ 43
3. 创建 DecodeContext 对象............................................................................................................. 49
4. 创建 ScoreMatrix 对象 ................................................................................................................. 51
5. 最大匹配词典 ............................................................................................................................. 51
6. 抽取特征 .................................................................................................................................... 55
7. 计算得分 .................................................................................................................................... 58
8. 解码器结构................................................................................................................................. 62
9. 执行解码 .................................................................................................................................... 64
10. 构建分词结果 ........................................................................................................................... 68
第四章 总结 .......................................................................................................................................... 69


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

该用户从未签到

0

主题

22

帖子

101

积分

注册会员

Rank: 2

积分
101
发表于 2015-11-29 02:20:18 | 显示全部楼层
很好,谢谢楼主
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

5

帖子

157

积分

注册会员

Rank: 2

积分
157
发表于 2015-12-27 20:09:50 | 显示全部楼层
好资料,学习下
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

14

帖子

324

积分

中级会员

Rank: 3Rank: 3

积分
324
发表于 2016-2-12 08:52:52 | 显示全部楼层
回复

使用道具 举报

该用户从未签到

0

主题

12

帖子

213

积分

中级会员

Rank: 3Rank: 3

积分
213
发表于 2016-4-25 16:05:15 | 显示全部楼层
学习了,楼主
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

37

帖子

163

积分

注册会员

Rank: 2

积分
163
发表于 2016-7-15 10:17:40 | 显示全部楼层
下载看看。哈。
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

26

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2017-2-4 14:47:39 | 显示全部楼层
大家看怎么样 我认为很好.
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

26

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2017-2-4 14:48:40 | 显示全部楼层
大家看怎么样 我认为很好.
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

26

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2017-2-4 14:53:02 | 显示全部楼层
大家看怎么样 我认为很好.
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

26

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2017-2-4 15:36:20 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表