中文文本中可能出現(xiàn)的標(biāo)點符號來源比較復(fù)雜，通過匹配等手段對他們處理的時候需要格外小心，防止遺漏。以下為在下處理中文標(biāo)點的時候采用的兩種方法:
中文標(biāo)點集合
比較常見標(biāo)點有這些：
！？?＂＃＄％＆＇（）＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～?????、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”„?…?﹏.
調(diào)用zhon包的zhon.hanzi.punctuation函數(shù)即可得到這些中文標(biāo)點。
如果想用英文的標(biāo)點，則可調(diào)用string包的string.punctuation函數(shù)可得到：
!"#$%&/'()*+,-./:;<=>?@[//]^_`{|}~因此，比如需要將所有標(biāo)點符號去除，可以進行以下操作：
>>> import re>>> from zhon.hanzo import punctuation>>> line = "測試。。去除標(biāo)點。。">>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉(zhuǎn)換為unicode當(dāng)然，如果想去除重復(fù)的符號而只保留一個，那么可以用/1指明：比如
>>> re.sub(ur"([{}])+".format(punctuation), "/1", line.decode("utf-8"))你也可以手工指定這些標(biāo)點符號
punctuation = """！？?＂＃＄％＆＇（）＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～?????、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”„?…?﹏"""re_punctuation = "[{}]+".format(punctuation)line = re.sub(re_punctuation, "", line)可以通過直接指定unicode碼范圍的辦法來strip，比如:
去除所有半角全角符號，只留字母、數(shù)字、中文
def remove_punctuation(line): rule = re.compile(ur"[^a-zA-Z0-9/u4e00-/u9fa5]") line = rule.sub('',line) return line漢字的范圍為”/u4e00-/u9fa5“，這個是用Unicode表示的，所以前面必須要加”u“；字符”r“的意思是表示忽略后面的轉(zhuǎn)義字符，這樣簡化了后面正則表達式里每遇到一個轉(zhuǎn)義字符還得挨個轉(zhuǎn)義的麻煩
最后可以組合成為一個函數(shù)
def remove_punctuation(line, strip_all=True): if strip_all: rule = re.compile(ur"[^a-zA-Z0-9/u4e00-/u9fa5]") line = rule.sub('',line) else: punctuation = """！？?＂＃＄％＆＇（）＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～?????、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”„?…?﹏""" re_punctuation = "[{}]+".format(punctuation) line = re.sub(re_punctuation, "", line) return line.strip()清洗完畢后，有時候我們希望按照多個標(biāo)點符號來分割
比如只要遇到中文或英文的逗號和句號等符號就分割，可以直接用translate把這些符號翻譯為統(tǒng)一的分隔符，再split:
strip_chars = '？"。.，,《》[]〖〗“”'single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))single_line = single_line.split('#')總結(jié)
以上所述是小編給大家介紹的Python處理中文標(biāo)點符號大集合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對VEVB武林網(wǎng)網(wǎng)站的支持！
新聞熱點
疑難解答
圖片精選
