Home Sign Up Sign In
Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
iwaifor
V2EX  ›  Linux

文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。

  •   
  •   iwaifor · Jun 25, 2018 · 2349 views
    This topic created in 3059 days ago, the information mentioned may be changed or developed.
    文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。
    文本格式如下
    2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
    2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
    2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
    2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
    2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
    2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
    2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
    2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
    2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
    2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
    2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
    2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
    2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468
  • 2018-06-17
  • Music
  • mp3
  • 阎维文
    12 replies  •  2018-06-26 10:59:48 +08:00
    jswh
    jswh
    Jun 25, 2018
    1
    excel
    iwaifor
    iwaifor
    OP
    Jun 25, 2018
    2
    @jswh 数据比较多 用 awk 能实现吗 搜了半天没找到解决办法
    SaulLawliet
    SaulLawliet
    Jun 25, 2018❤️2
    3
    大概这样吧

    awk -F'|' '{if(a[$2] < $3) {a[$2] = $3; b[$2] = $0}} END{for(i in b) print b[i]}'
    CEBBCAT
    CEBBCAT
    Jun 25, 2018 via Android
    4
    最终仅输出一行的意思？
    iwaifor
    iwaifor
    OP
    Jun 25, 2018
    5
    @SaulLawliet 可用，很神奇，麻烦问问，这个具体是 awk 的什么用法
    imn1
    imn1
    Jun 25, 2018
    6
    「第二」是至下标 2 吧？否则按语文理解你这去重只剩下一行啊
    lululau
    lululau
    Jun 25, 2018
    7
    来个 Perl 版本的：

    perl -F'\|' -ane '{$h{$F[1]}=$_ and $c{$F[1]}=$F[2] if $c{$F[1]} < $F[2]}END{print for values %h}'
    lululau
    lululau
    Jun 25, 2018❤️1
    8
    再来个 Ruby 版的：

    ruby -F'\|' -ane 'x||=[]; x<<$F;END{x.group_by{|e|e[1]}.map{|_,y|y.max_by{|l|l[2].to_i}*"|"}.each{|l|puts l}}'
    tamlok
    tamlok
    Jun 25, 2018 via Android
    9
    楼下再补充个 C 版本：
    SaulLawliet
    SaulLawliet
    Jun 25, 2018
    10
    @iwaifor 就是基本操作呀;)
    具体你可以看下这个链接 https://www.tutorialspoint.com/awk/awk_workflow.htm
    ant2017
    ant2017
    Jun 25, 2018
    11
    awk 'BEGIN{FS=OFS="|";} {if($2 in a){if($3>a[$2]){a[$2]=$3;b[$2]=$0;}}else{a[$2]=$3;b[$2]=$0;}} END{for(i in b){print b[i]}}' aa.unl
    iwaifor
    iwaifor
    OP
    Jun 26, 2018
    12
    @lululau 6666 一把骚操作，很优秀
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2856 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 05:22 · PVG 13:22 · LAX 21:22 · JFK 00:22
    ♥ Do have faith in what you're doing.