国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 系統 > Linux > 正文

Linux下刪除大數據文件中部分字段重復行的方法

2020-06-13 11:54:58
字體:
來源:轉載
供稿:網友
最近寫的一個數據采集程序生成了一個含有1千多萬行數據的文件,數據由4個字段組成,按照要求需要刪除第二個字段重復的行,找來找去linux下也沒找到合適的工具,sed/gawk等流處理工具只能針對一行一行處理,并無法找到字段重復的行。看來只好自己python一個程序了,突然想起來利用mysql,于是進行乾坤大挪移:

1. 利用mysqlimport --local dbname data.txt導入數據到表中,表名要與文件名一致
2. 執行下列sql語句(要求唯一的字段為uniqfield)


復制代碼
代碼如下:

use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 蒲城县| 米脂县| 任丘市| 云浮市| 东城区| 汶上县| 南宫市| 吉安县| 资阳市| 剑阁县| 富民县| 彩票| 宜兰县| 天津市| 乐亭县| 白水县| 南康市| 六安市| 巴里| 沁源县| 田东县| 巴林右旗| 木里| 呼玛县| 鹤山市| 贵州省| 东方市| 贺州市| 黎川县| 高尔夫| 南充市| 平湖市| 嵊州市| 青海省| 罗甸县| 鹤庆县| 自治县| 多伦县| 莱阳市| 吉水县| 明水县|