由于nltk等都沒(méi)有實(shí)現(xiàn)句子級(jí)別的tokenize，或者文本分句。這里使用python正則，快速實(shí)現(xiàn)一個(gè)，可以把文本分成若干個(gè)小句子。

代碼如下，如果你想要實(shí)現(xiàn)自己個(gè)性化的分句，例如只考慮“。！”等的分句，可以調(diào)整正則項(xiàng)，“|”代表或的意思。

            
              def sent_tokenize(x):
    sents_temp = re.split('(：|:|,|，|。|！|\!|\.|？|\?)', x)
    sents = []
    for i in range(len(sents_temp)//2):
        sent = sents_temp[2*i] + sents_temp[2*i+1]
        sents.append(sent)
    return sents
            
          

            x:'這個(gè)配置和價(jià)位真的很合適，完全夠用，而且小黑的質(zhì)量非常不錯(cuò)。'

          

            sents:['這個(gè)配置和價(jià)位真的很合適，', '完全夠用，', '而且小黑的質(zhì)量非常不錯(cuò)。']