AI应用实例分析——文本纠错

编辑导语:ૣAI在现实中的应用有很多,你有没有想过,它还可以进行文本纠错呢?传统的校对既耗时又枯燥,通过AI纠错,不仅能更快完成,还能提高准确度。那么AI“文本纠错”背后的原理是什么呢?和我一起看看吧!

前面跟大家分享了⊄AI开放平台的相关内容,之后想围绕AI应用实例这块跟大家分享交流,这节主要讲述跟NLP相关的一个应用实例——“文本纠错”。

一、背景

虽然这几年短视频在内容传播方面发展得很火,但是文稿仍然占据੬重要地位。而文稿传播最重要的一点就是信息的准确性,尤其是一些有知名度的正式平台更是会在文稿☎发送前进行校对修正。

传统的人工校对工作量是非常大的,一篇5૩000字的文稿完成校对差不多需要1-2个小时,对于校稿人员来说既耗时又枯燥。有一家内容平台就提出,希望我们通过AI能力提供快速校对工具ਲ਼,主要针对中文文稿,帮助校稿人员和编辑人员减少内容错误。

为了满足该需求,我们基于NLP技术提供了文本纠错服务。

二、关键技术

文本纠错中用到的⊇技术的前世今生在这不过多介绍了,目前文本纠错的主流方向还是使用机器学习的方式来完成,其中需要¨’用到的核心技术è主要包括语言知识学习、上下文理解和知识计算。

  • 语言知识学习:可以理解为÷是对语言规则等先验知识的学习,通过学习词法、句法等规则进行语言模型构建,例如中英文的主谓宾结构就是不一样的。
  • 上下文理解:是指分析错误点上下文વ语境和语义,从纠错候选中选择最合适的。尤其是中文,相同的词汇在不同语境中往往表达不同的含义。
  • ξ

  • 知识计算:知识计算主要包括关联知识计算和文本理解,关联知识主要是通过对全局知识的统计来实现纠错,可以是局部不»完整语句的补充。文本理解是通过统计理解全局句子内容,解决低频领域知识的泛化问题。

三、产品设计

1. 应用场景

(1)用户场景:审稿或者编辑人员输入中♫文文字信息,系统自动纠错,并给出修改建议,´审稿人员对错误快速修订。

(2)应用边界:

  • 支持用词错误检测,针对音近、形近的错字和别字进行纠正
  • 支持句子级错误检测,主要是针对句子中出现的⊕多字、少字等错误,相对难度校大ƒ。
  • 支持场景类错误纠正,这类错误需要具备一些特定领域的知识才能识别纠错,所以尽量支持。

2. 产品定位

  • 产品定位:为应用工具型产品,实现中文文本自动纠错功能。
  • 用户定位:满足两类ýB端用户,第一类针对具备&#263f;自主的文稿编辑工具,提供API服务,与现有系统进行改造融合;第二类是针对缺少文稿编辑工具的用户,提供web页面功能。

3. 产品业务流程

产品核心业务流程主要是产品端和算法端的交互,具体业务流程如下:

4. 产品功能设计

(1)页面功能设计

页面核心功能主要包括如下:支持内容上传、内容审查、结果确认和内容下载。

主要页Ù面设计如下:

(χ2)API接口设计

包括内容纠错请求接口和结果®回调接,分别用于内容审查纠错和结果返回,以下描述主要的输入和输出参数:

  • 输入:接口鉴权、文本内容、文本编码格式等。
  • 输出:文本分析结果,包括源文本、纠错文本、文本位置,置信度。

5. 评估指标

产品上线前,需要对产品的性能进行评估,主要包括三个指标:误报率、召回率和处理时间。

  • 误报率:代表正确的句子被改错‍的比率,等于正确句子&#263c;被纠错的个数/正确句子的个数。
  • 召回率:代表错误的句子被全部纠正的比率,等于含有错误的句子被改正的数量/Ø所有含错误的句子数量。
  • 处理性能:代表处理多少个字符的耗时,单位是千字耗时,s/千字符。∨

四、结论>

文本纠错是NLP非常基础的场景应用,但是实际业务价值却是很大的。在具体业务场景应用方面不仅可以用在在媒体编辑、电子病历等输入文本纠错,还可以应用于语音搜索、客服问答等业务。

 

本文由@Eric_d 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于CC0协议

Leave a comment

Your email address will not be published.