多年来,为了支持丰富多样的内外部业务,我们在词法分析、词义相似度等自然语言处理基础技术上有着深厚的储备。同时随着多年的实践积累,我们在语言理解、阅读理解、语言生成、对话、翻译等应用方向上也沉淀了充足的经验和实力。
NLP基础算法
NLP基础算法致力于研究分词、词性标注、专名识别、词向量化、词重要性、词紧密度、词相似度、句相似度、句通顺度、句法分析以及语义分析等面向中文文本的基础技术。依托于百度的大数据积累和深度学习技术,NLP基础算法不断打磨,支持了公司内外部诸多产品。
词法分析
百度词法分析向用户提供分词、词性标注、命名实体识别三大功能。该服务能够识别出文本串中的基本词汇(分词),对这些词汇进行重组、标注组合后词汇的词性,并进一步识别出命名实体,百度词法分析的算法效果大幅领先已公开的主流中文词法分析模型。
词向量表示
词向量计算是通过训练的方法,将语言词表中的词映射成一个长度固定的向量。词表中所有的词向量构成一个向量空间,每一个词都是这个词向量空间中的一个点,利用这种方法,实现文本的可计算。
词义相似度
本技术用于计算两个给定词语的语义相似度,基于自然语言中的分布假设,即越是经常共同出现的词之间的相似度越高。词义相似度是自然语言处理中的重要基础技术,是专名挖掘、query改写等常用技术的基础之一。
依存句法分析
利用句子中词与词之间的依存关系来表示词语的句法结构信息(如主谓、动宾、定中等结构关系),并用树状结构来表示整句的的结构(如主谓宾、定状补等)。
DNN语言模型
语言模型是通过计算给定词组成的句子的概率,从而判断所组成的句子是否符合客观语言表达习惯,通常用于机器翻译、拼写纠错、语音识别、问答系统、词性标注、句法分析和信息检索等。
短文本相似度
短文本相似度计算服务能够提供不同短文本之间相似度的计算,输出的相似度是一个介于0到1之间的实数值,越大则相似度越高。相似度数值建议在一组数据中进行整体比对选用,输出数值越大,则代表语义相似程度相对越高。