人工智能 自然语言(人工智能自然语言处理领域的应用)
.jpg)
自然语言处理产品应用
在人工智能领域，会将所有人类使用的语言视为自然语言。自然语言处理Natural Language Processing，NLP 技术可以让机器更加懂得人类的自然语言，理解人类通过语言所表达的含义。
一、认识NLP
1、常见自然语言处理的两种方法
1）基于规则来理解自然语言，即通过制定一系列的规则来设计一个程序，然后通过这个程序来解决自然语言交流的问题
2）基于统计机器学习来理解自然语言，即用大量的数据通过机器学习算法来训练一个模型，然后通过这个模型来解决自然语言处理面临的问题
2、自然语言处理系统离不开语料库和知识库的支持
语料库：存放语言素材；知识库：分两类，一类是词典、规则库、语义概念库等，分别与解析过程中的语法分析、句法分析和语义分析对应；另一类语言知识存在于语料库之中，每个语言单位的出现，其范畴、意义、用法都是确定的。
二、自然语言处理的流程
第一步 语料获取
第二步 语料预处理：语料清洗、分词、词性标注、去停用词
第三步 特征构建
第四步 特征选择
第五步 模型训练：词汇分析、句法分析、语义分析、语用分析
三、语言处理产品案例
1、常见任务
u 问答
u 机器翻译
u 摘要
u 语言推理
u 情感分析
u 语义角色标注
u 关系抽取
互联网小常识：IP地址经历了四个阶段：标准分类的IP地址、划分子网的三级地址结构、构成超网的无类域间路由技术（CIDR）和网络地址转换NAT技术。
u 任务驱动多轮对话
u 指代消解
u 语义分析
u 命名实体提取
2、产品应用形态
u 人机对话类产品
u 机器翻译
u 阅读理解
u 机器创作
互联网小常识：密码学分为密码编码学和密码分析学。在设计加密系统时，加密算法是可以公开的，真正需要保密的是密钥，对于同一个加密算法，密码的位数越长，破译的难度也就越大，安全性也就越好。
3、语言处理产品评价标准
u 任务达成率
u 对话交互效率
u 平均单词对话轮数
u 相关性和新颖性
u 留存率
u 重复问同样问题的比例
u 无答案比例
u 语料自然度和人性化程度
u 情绪检测
u 常规指标
4、语言处理的挑战：语言的歧义、语言的鲁棒、知识依赖、上下文、情绪识别
互联网小常识：VLAN通常用VLAN ID和VLAN name表示。VLAN ID为12位0-1005为标准范围，1025-4096为扩展范围，其中1-1000为以太网VLAN ID.1002-1005为FDDI和Toke Ring的VLAN ID.VLAN name为32个字符表示，可以是字母和数字。缺省为VLAN00xxx 。
免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186
