华南农业大学红满堂社区

 找回密码
 注册

QQ登录

只需一步,快速开始

用新浪微博登录

只需一步,快速搞定

查看: 256|回复: 0

[软件] NLPIR大数据语义智能分析平台的文本提取功能介绍

[复制链接]
  • TA的每日心情
    开心
    2019-8-9 14:13
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2019-9-16 15:02:39 | 显示全部楼层 |阅读模式
    文本信息是有具体的单元结构组成,包括句子,段落,篇章。文本信息抽取是指对现有文本数据进行信息抽取的过程,抽取单位也有具体单位组成。比如抽取文本数据中的短语,人名,或者地名。
    从机器学习的角度分析,将文本信息抽取作为监督学习的一项具体运用。文本信息抽取可以分为两个阶段:学习阶段和抽取阶段。其过程如下图所示:

    学习阶段,首先有一些带标注的数据集,每一个样本包含文字单元序列和标注序列组成,机器学子系统基于已有的标注构建一个学习模型,并用一个条件概率分布进行表示。信息抽取系统则是根据得到的条件概率分布模型,对新的样本进行标注。
    文字单元在具体的实现中可以是一个文本、一个句子、一个词语,甚至还可以是中文的一个字,标注可能是表示信息抽取对象的开始、结束以及其他。抽取的信息将从开始到标注为结束的文字序列。
    文本信息抽取常用的模型有:隐马尔科夫模型、最大熵马尔科夫模型、条件随机场、表决感知机模型。这些模型是上述一般文本信息抽取的具体实现。
    NLPIR大数据语义智能分析平台在文本信息提取介绍方面,能够实现新词提取和关键词提取。
    新词发现能从文本中挖掘出具有内涵的新词、新概念,用户可以用于专业词典的编撰,还可以进一步编辑标注,导入分词词典可提高分词系统的准确度,并适应新的语言变化。新词提取内容包括:词语、词性、权重和词频统计。本步骤所得到的新词, 可以作为分词标注器的用户词典导入,从而使分词结果更加准确。
    关键词提取能够对单篇文章或文章集合,提取出若干个代表文章中心思想的 词汇或短语,可用于精化阅读、语义查询和快速匹配等。关键词提取能够对单篇文章或文章集合,提取出若干个代表文章中心思想的 词汇或短语,可用于精化阅读、语义查询和快速匹配等。关键词分析内容包括: 词语、词性、权重和词频统计。系统默认词汇以权重值高低排序。
    同时,NLPIR大数据语义智能分析平台能够实现对于新词、关键词提取结果的高维可视化展示,可视化形式有三种:文 本格式、二维格式与三维格式。用户可根据需要直接使用,无须再次设计美化。


    免责声明:本论坛发布的任何言论仅代表网友个人观点,不代表红满堂BBS观点
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    小黑屋|手机版|Archiver|华南农业大学红满堂    合作Q:991788817 |

    GMT+8, 2019-11-12 10:07 , Processed in 0.174322 second(s), 17 queries , Gzip On, Xcache On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表