简单的贝叶斯拼写检查器

                                                             最近在学习机器学习这块，尝试写次关于贝叶斯算法的博客，希望能帮到新手朋友们 orz

关于理论部分相信网上有更详细的展开了，这里略过(0.0)直接上代码

首先引入包(对语料库去除特殊字符)

#引入 re collections 包
import re,collections

 去掉语料库的特殊字符

def words(text): return re.findall(\'[a-z]+\',text.lower())
#定义函数统计各单词出现个数
def train(features):
    model=collections.defaultdict(lambda: 1)
    for f in features:
        model[f]+=1
    return model

NWORDS=train(words(open(\'big.txt\').read()))

定义字母集用来对输入单词修改或插入某个字母

alphabet = \'abcdefghijklmnopqrstuvwxyz\'

定义编辑距离为1的函数(输入单词可能是多打了一个字母，次序错了，打错了一个字母，少打了一个字母，返回这些集合)

def edits1(word):
    n=len(word)
    return set(
    [word[0:i]+word[i+1:] for i in range(n)]+  #原单词多打了一个字母 range(n)返回删除一个字母的列表 (ord wrd wod wor)
    [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)]+  #原单词交换一次位置的可能列表 （owrd wrod wodr）
    [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet]+  #原单词某字母需被修改可能列表 （~ord  w~rd wo~d wor~）
    [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet]  #原单词需插入一个字母的可能 
    )

定义编辑距离为2的函数

#判断该单词是否为语料库的\'真实\'单词
def known(words):return set(w for w in words if w in NWORDS)
#编辑距离为2的可能列表中的真实单词
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

定义检查函数

#主函数拼写器  返回优先级 真实单词>编辑距离1>编辑距离2>不存在的原单词
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

最后调用即可

correct(\'ope\')

输出结果 ‘one’

（题外话，我怎么感觉这家伙好像没用到贝叶斯算法吧，就是最后返回某单词在语料库出现次数最多的单词）