對(duì)于英文文本分句比較簡單，只要根據(jù)終結(jié)符"."劃分就好，中文文本分句看似很簡單，但是實(shí)現(xiàn)時(shí)會(huì)遇到很多麻煩，尤其是處理社交媒體數(shù)據(jù)時(shí)，會(huì)遇到文本格式不規(guī)范等問題。
下面代碼針對(duì)一段一段的短文本組成了文檔分句
import re
def cut_sent(infile, outfile):
cutLineFlag = ["？", "！", "。","…"] #本文使用的終結(jié)符，可以修改
sentenceList = []
with open(infile, "r", encoding="UTF-8") as file:
oneSentence = ""
for line in file:
if len(oneSentence)!=0:
sentenceList.append(oneSentence.strip() + "\r")
oneSentence=""
# oneSentence = ""
for word in words:
if word not in cutLineFlag:
oneSentence = oneSentence + word
else:
oneSentence = oneSentence + word
if oneSentence.__len__() > 4:
sentenceList.append(oneSentence.strip() + "\r")
oneSentence = ""
with open(outfile, "w", encoding="UTF-8") as resultFile:
print(sentenceList.__len__())
resultFile.writelines(sentenceList)
如果段尾3沒有終結(jié)符但是換行了，這句話可能會(huì)丟失，所有加入如下代碼：
if len(oneSentence)!=0:
sentenceList.append(oneSentence.strip() + "\r")
oneSentence=""
會(huì)得到比較好的處理結(jié)果
要處理的文本：
自從微信出了三天可見功能，我的朋友圈就越來越冷清越來越冷清越來越冷清，點(diǎn)開都沒什么可看的了。今天我把屏蔽的代購一個(gè)一個(gè)一個(gè)都放出來了，快過年了，熱鬧點(diǎn)
一女性，想DIY矯正門牙縫隙，在家自己制取模型，結(jié)果悲劇了，因?yàn)橛玫氖鞘?，自己無法取出，來我院求助，醫(yī)生廢了九牛二虎之力才搞定……DIY有風(fēng)險(xiǎn)，操作需謹(jǐn)慎！
閨女同學(xué)家養(yǎng)了一只鸚鵡，兩只珍珠鳥，一只貓，兩只倉鼠。鸚鵡是老大，珍珠鳥怕它，貓是后進(jìn)家的，也怕鸚鵡。倉鼠經(jīng)常溜出籠子，據(jù)說貓會(huì)把它逮住塞回籠子。
處理后的文本：
自從微信出了三天可見功能，我的朋友圈就越來越冷清越來越冷清越來越冷清，點(diǎn)開都沒什么可看的了。
今天我把屏蔽的代購一個(gè)一個(gè)一個(gè)都放出來了，快過年了，熱鬧點(diǎn)
一女性，想DIY矯正門牙縫隙，在家自己制取模型，結(jié)果悲劇了，因?yàn)橛玫氖鞘?，自己無法取出，來我院求助，醫(yī)生廢了九牛二虎之力才搞定…
DIY有風(fēng)險(xiǎn)，操作需謹(jǐn)慎！
閨女同學(xué)家養(yǎng)了一只鸚鵡，兩只珍珠鳥，一只貓，兩只倉鼠。
鸚鵡是老大，珍珠鳥怕它，貓是后進(jìn)家的，也怕鸚鵡。
倉鼠經(jīng)常溜出籠子，據(jù)說貓會(huì)把它逮住塞回籠子。
得到了比較好的分句結(jié)果，也不會(huì)丟失信息。
以上這篇python實(shí)現(xiàn)中文文本分句的例子就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
