Java实现影视剧搜索中中文文本自动纠错

      1.背景：

      这周由于项目需要对搜索框中输入的错误影片名进行校正处理，以提升搜索命中率和用户体验，研究了一下中文文本自动纠错(专业点讲是校对,proofread)，并初步实现了该功能，特此记录。

      2.简介：

      中文输入错误的校对与更正是指在输入不常见或者错误文字时系统提示文字有误，最简单的例子就是在word里打字时会有红色下划线提示。实现该功能目前主要有两大思路：

      (1)  基于大量字典的分词法：主要是将待分析的汉字串与一个很大的“机器词典”中的词条进行匹配，若在词典中找到则匹配成功；该方法易于实现，比较适用于输入的汉字串

      属于某个或某几个领域的名词或名称；

      (2)  基于统计信息的分词法：常用的是N-Gram语言模型，其实就是N-1阶Markov(马尔科夫)模型；在此简介一下该模型：

      上式是Byes公式，表明字符串X1X2……Xm出现的概率是每个字单独出现的条件概率之积，为了简化计算假设字Xi的出现仅与前面紧挨着的N-1个字符有关，则上面的公式变为：

      这就是N-1阶Markov(马尔科夫)模型，计算出概率后与一个阈值对比，若小于该阈值则提示该字符串拼写有误。

      3.实现：

      由于本人项目针对的输入汉字串基本上是影视剧名称以及综艺动漫节目的名字，语料库的范围相对稳定些，所以这里采用2-Gram即二元语言模型与字典分词相结合的方法；

      先说下思路：

      对语料库进行分词处理 —> 计算二元词条出现概率(在语料库的样本下，用词条出现的频率代替) —> 对待分析的汉字串分词并找出最大连续字符串和第二大连续字符串 —>

      利用最大和第二大连续字符串与语料库的影片名称匹配 —> 部分匹配则现实拼写有误并返回更正的字符串(所以字典很重要)

      备注：分词这里用ICTCLAS Java API

      上代码：

      创建类ChineseWordProofread

      3.1 初始化分词包并对影片语料库进行分词处理

      3.2 计算词条(tokens)出现的频率

      3.3 找出待分析字符串中的正确tokens

      1 public Map<String,Integer> calculateTokenCount(String afterWordSegFile){
      2         Map<String,Integer> wordCountMap = new HashMap<String,Integer>();
      3         File movieInfoFile = new File(afterWordSegFile);
      4         BufferedReader movieBR = null;
      5         try {
      6             movieBR = new BufferedReader(new FileReader(movieInfoFile));
      7         } catch (FileNotFoundException e) {
      8             System.out.println("movie_result.txt file not found");
      9             e.printStackTrace();
      10         }
      11        
      12         String wordsline = null;
      13         try {
      14             while ((wordsline=movieBR.readLine()) != null){
      15                 String[] words = wordsline.trim().split(" ");
      16                 for (int i=0;i<words.length;i++){
      17                     int wordCount = wordCountMap.get(words[i])==null ? 0:wordCountMap.get(words[i]);
      18                     wordCountMap.put(words[i], wordCount+1);
      19                     totalTokensCount += 1;
      20                    
      21                     if (words.length > 1 && i < words.length-1){
      22                         StringBuffer wordStrBuf = new StringBuffer();
      23                         wordStrBuf.append(words[i]).append(words[i+1]);
      24                         int wordStrCount = wordCountMap.get(wordStrBuf.toString())==null ? 0:wordCountMap.get(wordStrBuf.toString());
      25                         wordCountMap.put(wordStrBuf.toString(), wordStrCount+1);
      26                         totalTokensCount += 1;
      27                     }
      28                    
      29                 }               
      30             }
      31         } catch (IOException e) {
      32             System.out.println("read movie_result.txt file failed");
      33             e.printStackTrace();
      34         }
      35        
      36         return wordCountMap;
      37     }

      3.4 得到最大连续和第二大连续字符串(也可能为单个字符)

      3.5 返回更正列表

      3.6 显示校对结果

      在我的机器上实验结果如下：

      最后要说的是我用的语料库没有做太多处理，所以最后出来的有很多正确的结果，比如非诚勿扰会有《非诚勿扰十二月合集》等，这些只要在影片语料库上处理下即可；

      还有就是该模型不适合大规模在线数据，比如说搜索引擎中的自动校正或者叫智能提示，即使在影视剧、动漫、综艺等影片的自动检测错误和更正上本模型还有很多提升的地方，若您不吝惜键盘，请敲上你的想法，让我知道，让我们开源、开放、开心，最后源码在github上，可以自己点击ZIP下载后解压，在eclipse中创建工程wordproofread并将解压出来的所有文件copy到该工程下，即可运行。