国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 系統 > Linux > 正文

Linux下刪除大數據文件中部分字段重復行的方法

2020-07-10 11:43:48
字體:
來源:轉載
供稿:網友
最近寫的一個數據采集程序生成了一個含有1千多萬行數據的文件,數據由4個字段組成,按照要求需要刪除第二個字段重復的行,找來找去linux下也沒找到合適的工具,sed/gawk等流處理工具只能針對一行一行處理,并無法找到字段重復的行。看來只好自己python一個程序了,突然想起來利用mysql,于是進行乾坤大挪移:

1. 利用mysqlimport --local dbname data.txt導入數據到表中,表名要與文件名一致
2. 執行下列sql語句(要求唯一的字段為uniqfield)


復制代碼
代碼如下:

use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 湖南省| 杭锦后旗| 通海县| 昆山市| 淮滨县| 巧家县| 苏尼特右旗| 镶黄旗| 崇明县| 陇南市| 凤阳县| 南阳市| 临高县| 米易县| 玉门市| 开远市| 博湖县| 华阴市| 孟村| 仪陇县| 横峰县| 田东县| 禹州市| 黄石市| 庆城县| 海淀区| 栾川县| 龙泉市| 乳山市| 松潘县| 深州市| 苍南县| 四川省| 大邑县| 巴中市| 汨罗市| 大洼县| 宜州市| 阿克苏市| 师宗县| 泰州市|