国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Perl > 正文

perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)

2020-06-04 20:31:35
字體:
供稿:網(wǎng)友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結(jié)果:
1 3 
1 5 
2 1 
4 1
那么,請(qǐng)借助以下的perl腳本來實(shí)現(xiàn)。

代碼一:

代碼如下:
#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個(gè)文件data有10G大,但是有好多行都是重復(fù)的,需要將該文件中重復(fù)的行合并為一行,那么我們需要用什么辦法來實(shí)現(xiàn)
cat data |sort|uniq > new_data #該方法可以實(shí)現(xiàn),但是你需要花上好幾個(gè)小時(shí)。結(jié)果才能出來。
下面是一個(gè)使用perl腳本來完成此功能的小工具。原理很簡(jiǎn)單,創(chuàng)建一個(gè)hash,每行的內(nèi)容為鍵,值由每行出現(xiàn)的次數(shù)來填充,腳本如下;

代碼如下:
#!/usr/bin/perl
# Author :CaoJiangfeng

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 河曲县| 灵丘县| 常州市| 左权县| 黔西县| 邛崃市| 格尔木市| 高安市| 永登县| 讷河市| 松溪县| 大悟县| 霍山县| 德化县| 临江市| 莫力| 莎车县| 剑河县| 都匀市| 成安县| 治县。| 大庆市| 湖南省| 四会市| 门头沟区| 淳安县| 安远县| 嘉兴市| 吉林省| 泰宁县| 永春县| 沈阳市| 昌邑市| 武宁县| 时尚| 涪陵区| 泗阳县| 安顺市| 鞍山市| 德兴市| 南阳市|