Как удалить дублирующие записи на основе первого столбца?

Question

[KryaKryaGo]

Всем доброго!

Имеем следующее содержимое файла(ip:port):

1.1.1.1:8080
1.1.1.1:9000
1.1.1.1:53
2.2.2.2:8080
2.2.2.2:9000
3.3.3.3:80

Как мы видим, в первом столбце есть повторяющиеся строки(ip в данном случае), но с разными значениями после разделителя. Итак, нам нужно обработать так, чтобы в первом столбце остались уникальные ip с одним уникальным портом. Спасибо всем, кто подскажет.

Answer 1

[Rsa97]

awk -F: '!a[$1]++' имя_файла

Comments

[KryaKryaGo]

Да, дружище, отрабатывает на ура. Применял все тоже самое, но с добавлением uniq'а в скобках, видимо там и ошибался. Спасибо

[Виктор Таран]

<img src="https://habrastorage.org/webt/66/a3/8b/66a38bf39f45a262398570.png" alt="image"/>
netstat -ntu | awk '{print $5}<img src="https://habrastorage.org/webt/66/a3/81/66a381d86705f431732012.png" alt="image"/>' | grep -vE "(Address|servers|77.37.156.60|79.137.175.245|192.168.5.201|95.163.251.234|127.0.0.1|8.8.8.8|8.8.4.4)" | cut -d: -f1 | sort | uniq -c | sort -n| sed 's/^[ \t]*//'

А тут с лимитом

netstat -ntu | awk '{print $5}' | grep -vE "(Address|servers|77.37.156.60|79.137.175.245|192.168.5.201|95.163.251.234|127.0.0.1|8.8.8.8|8.8.4.4)" | cut -d: -f1 | sort | uniq -c | sort -n| sed 's/^[ \t]*//' | awk '{if ($1 > 20) print$2}'

думаю тут все варианты того что тебе нужно будут и даже больше