自然语言处理困难与现状
自然语言包括多粒度语言单元:字,词,短语,句子,语篇,乃至文档
自然语言处理的本质是结构预测, 本质是从无结构序列中预测有结构语义。
自然语言处理是实现人工智能,通过图灵测试的关键。
自然语言处理的特点:
- 创新性,新词,旧词新意
- 递归性,带来精确表达能力,同时增加理解难度
- 多义性,普遍存在于各个粒度语言单元,自然语言理解的关键目标是自动消歧义
- 主观性,即使语言字面意思得到准确理解,仍然回受到堵着自身经历和认知的影响,产生不同的理解
- 社会性,社会结构影响人类语言,语言反映社会结构
语言表示需要融入人类知识
- 领域知识
- 世界知识
- 常识知识
- 语言知识