讀寫文件時應注意的問題包括：
1.字符編碼
2.操作完成即時關閉文件描述符
3.代碼兼容性
幾種方法：
#!/bin/python3original_list1=[" "]original_list2=[" "]original_list3=[" "]original_list4=[" "]newlist1=[" "]newlist2=[" "]newlist3=[" "]newlist4=[" "]newtxt1=""newtxt2=""newtxt3=""newtxt4=""#first way to readlinef = open("duplicate_txt.txt","r+") # 返回一個文件對象 line = f.readline() # 調用文件的 readline()方法 while line: original_list1.append(line) line = f.readline() f.close() #use "set()" remove duplicate str in the list# in this way,list will sort randomlynewlist1 = list(set(original_list1))#newlist1 = {}.fromkeys(original_list1).keys() #faster #rebuild a new txt newtxt1="".join(newlist1)f1 = open("noduplicate1.txt","w")f1.write(newtxt1)f1.close()####################################################################second way to readlinefor line in open("duplicate_txt.txt","r+"): original_list2.append(line)newlist2 = list(set(original_list2))newlist2.sort(key=original_list2.index) #sort#newlist2 = sorted(set(original_list2),key=l1.index) #other waynewtxt2="".join(newlist2)f2 = open("noduplicate2.txt","w")f2.write(newtxt2)f2.close()####################################################################third way to readlinef3 = open("duplicate_txt.txt","r") original_list3 = f3.readlines() #讀取全部內容 ，并以列表方式返回 for i in original_list3: #遍歷去重 if not i in newlist3: newlist3.append(i)newtxt3="".join(newlist3)f4 = open("noduplicate3.txt","w")f4.write(newtxt3)f4.close()####################################################################fourth wayf5 = open('duplicate_txt.txt',"r+") try: original_list4 = f5.readlines() [newlist4.append(i) for i in original_list4 if not i in newlist4] newtxt4="".join(newlist4) f6 = open("noduplicate4.txt","w") f6.write(newtxt4) f6.close()finally: f5.close()結果：
去重前：
去重后（無序）：
去重后（有序）：
總結
這段下程序涉及文件讀寫操作以及鏈表List的操作，文章開頭提到的幾個問題，由于并沒有使用中文，所以不關心編碼，但這里還是要提一提:
f = open("test.txt"，"w")f.write(u"你好")上面這段代碼如果在python2中運行會報錯
報錯是因為程序沒辦法直接保存unicode字符串，要經過編碼轉換成str類型的二進制字節序列才可以保存。
write（）方法會自動編碼轉換，默認使用ascii編碼格式，而ascii不能處理中文，所以出現UnicodeEncodeError。
正確方式是在調用write（）方法前，手動格式轉換，用utf-8或者gbk轉換成str。
f = open("test.txt"，"w")text=u"你好"text=text.encode(encoding='utf-8')f.write(text)關于close()問題:
不關閉會有什么影響呢？操作完成后，不關閉文件，會對系統資源造成浪費，因為系統可打開的文件描述符數量是有限的。Linux是65535。
一般來說close之后就OK了，但是也會存在特殊情況，比如說，在調用open（）函數時就已經發生錯誤，權限不足，調用close（）肯定報錯。還有一種是在write（）時，如果磁盤空間不足，報錯，close（）就沒有機會執行了。正確的做法就是使用 try except 對異常進行捕獲：
f = open("test.txt"，"w")try: text=u"你好" text=text.encode(encoding='utf-8') f.write(text)except: IOError as e: print("oops,%s"%e.args[0])finally: f.close()更優雅的寫法是用 with…as。
with open("test.txt"，"w") as f: text=u"你好" f.write(text.encode(encoding='utf-8'))文件對象實現上下午管理器協議，程序進入with語句時，會把文件對象賦值給變量f，在程序退出with時會自動的調用close()方法。
關于兼容性問題:
python2和python3的open（）函數是不一樣的，后者可以在函數中指定字符編碼格式。
如何解決python2和python3的兼容open（）問題呢？
使用io模塊下的open（）函數，python2中的io.open等價與python3的open函數
from io import openwith open("test.txt"，"w",encoding='utf-8') as f: f.write(u"你好")以上這篇python3.4.3下逐行讀入txt文本并去重的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持VEVB武林網。
新聞熱點
疑難解答
