Как удалить из файл одинаковые ip адреса?

Question

[miruss]

есть файл, в нем список адресов, как с помощью grep или других инструментов удалить одинаковые ip адреса, чтобы их не было вообще? То есть чтобы остались только уникальные.

$ cat access.log
212.164.35.62:80
212.164.35.62:80
212.164.35.62:443
212.164.3.95:80
212.164.4.26:80
212.164.4.26:80
212.164.4.26:443
212.164.48.174:80
212.164.49.104:80

Answer 1

[Konkase]

Тогда так:
cat access.log | awk '{split($0,a,":"); print a[1]}' | sort -u

Comments

[miruss]

это уже ближе к решению, но опять же, остается один экземпляр из одинаковых ip адресов. Мне надо, если два ip одинаковы, то их удалить вообще из списка.

[Konkase]

#!/bin/bash

for ip in `cat ./access.log | awk '{split($0,a,":"); print a[1]}'`
	do
	dup=`cat ./access.log | awk '{split($0,a,":"); print a[1]}' | grep $ip | wc -l`
		if [[ "$dup" > 1 ]]
			then
				: 
			else
				echo -e "$ip" 
		fi
done

[miruss]

спасибо, то чно надо )

Answer 2

[Валентин]

cat access.log | sort | uniq

Comments

[miruss]

и одинаковые все равно остануться, их надо удалить из файла, Вы наверное не читали вопрос внимательно

[Alexey Dunaev]

естественное в access.log они останутся, файл никто не модифицирует. Результат вывода направьте в другой файл. cat access.log | sort | uniq > access_nodup.log например

[miruss]

вот мне и надо чтобы в access_nodup.log уже не было повторных ip адресов.

[Sergei Borisov]

@vvpoloskin, @keir-ru так не получится, так как есть "212.164.35.62:80" и есть "212.164.35.62:443". ip адрес один и тот же. автору надо их удалить.

[Валентин]

@risik ну тогда так
cat access.log | sort -u -t: -k1 > access_nodup.log

[Семён Воронов]

perl -i -ne 'print unless $a{$_}++' test

Answer 3

[miruss]

спасибо Konkase

#!/bin/bash

for ip in `cat ./access.log | awk '{split($0,a,":"); print a[1]}'`
	do
	dup=`cat ./access.log | awk '{split($0,a,":"); print a[1]}' | grep $ip | wc -l`
		if [[ "$dup" > 1 ]]
			then
				: 
			else
				echo -e "$ip" 
		fi
done

Comments

[dykky]

Офигенно не эффективный код!!! 2 cat-а, 2 awk-а, grep и wc во вложенных циклах....

sed 's/:.*//' access.log | sort | uniq -c | sed -n 's/^ *1 //p'

[dykky]

Тот же функционал, но по-нормальному

[miruss]

@dykky вау, спасибо большое. работает, еще можно помощь?
как сделать так чтобы, сохранялся еще и порт? то есть выводилось в таком виде к примеру 212.164.35.62:443

[dykky]

awk -F: '{printf "%16s %s\n", $2, $1}' access.log | sort -k2,2 | uniq -c -s 17 | sed -n 's/^  *1  *\([^ ][^ ]*\) \(.*\)/\2:\1/p'

[miruss]

@dykky спасибо, работает, а можно еще помощь, у меня че то ен получается модифицировать скрипт под другие нужды
есть такие данные
5.190.151.213;support;qwerty
5.190.151.213;support;123qwe
5.190.151.213;support;12345
5.190.151.213;support;123456
5.190.169.131;admin;admin
5.190.151.213;support;1234567
5.190.151.213;support;12345678
5.190.151.213;support;123456789
5.190.151.213;support;1234567890
5.190.151.213;root;toor
5.190.151.213;root;root
5.190.151.213;root;admin
5.190.151.213;root;user
5.190.151.213;root;1234
5.190.155.156;root;admin
5.190.151.213;root;qwerty
5.190.151.213;root;123qwe
5.190.151.213;root;12345
тут есть два уникальных значения это 5.190.169.131;admin;admin и 5.190.155.156;root;admin, можно их тоже как то выделить через скрипт?
что бы данные были после обработки в таком виде
5.190.155.156;root;admin
5.190.169.131;admin;admin
спасибо за помощь!

[xotkot]

@dykky
< Офигенно не эффективный код!!!
> кстати, ваш вариант тоже не являться верхом эффективности, ведь то что вы делаете за четыре команды можно сделать и за две (смотри мой вариант несколькими постами выше)

@miruss
< у меня че то ен получается модифицировать скрипт под другие нужды

awk -F";" '{print $3" "$2" "$1}' access.log |uniq -u -f2 |awk '{print $3";"$2";"$1}'

[miruss]

@majetree на этом примере работает, но на файле где таких 5 тыс строк - нет, выводит все подряд
вот например пошли повторы ip
5.185.74.101;root;toor
5.185.74.101;root;root
5.185.74.101;root;admin
5.185.74.101;root;user
5.185.74.101;root;1234
5.185.74.101;root;qwerty
5.185.74.101;root;123qwe
5.185.74.101;root;12345
5.186.84.217;root;toor
5.186.71.12;root;1234
5.186.84.217;root;root
5.186.71.12;root;qwerty
5.186.71.12;root;123qwe
5.186.82.90;admin;admin
5.186.84.217;root;1234
5.186.71.12;root;123456789
5.186.84.217;root;qwerty
5.186.71.12;root;1234567890
5.186.84.217;root;123qwe
5.186.71.12;admin;toor
5.186.71.12;admin;root
5.186.84.217;root;12345678
5.186.71.12;admin;admin
5.186.84.217;root;123456789
5.186.71.12;admin;user
5.186.84.217;root;1234567890

[xotkot]

@miruss
видать там какие-то ограничения в awk на размер буфера или чего то там, поэтому возникают проблемы с большими файлами когда обрабатывает только часть а остальное выводит как есть. Можно обойти это костылём или использовать другие методы.
Если костылём то нужно порезать большой файл на части поменьше и обработать их сведя потом результат в суммирующий файл с которого уже можно получить окончательный результат. Ниже привёл скрипт:
cat lg.sh

#!/bin/sh

fn1() {
	awk -F";" '{print $3" "$2" "$1}' $1 |uniq -u -f2 |awk '{print $3";"$2";"$1}'
}

mkdir -p Log
split $1 -l100 -d Log/_

for i in `ls Log`
do fn1 Log/$i >> Log/sum.log
done

fn1 Log/sum.log
rm -r Log

запускаем:
./lg.sh access.log
но в вашем случае возможно лучше использовать другие безкостыльные методы )
в общем смотрите сами

[miruss]

выводит повторы...

[xotkot]

попробуйте заменить сроку
split $1 -l100 -d Log/_
на
split $1 -l50 -a3 -d Log/_

[miruss]

@majetree не помогает, а куда скинуть весь файл, чтобы вы смогли помочь мне?

[miruss]

@majetree проще может взять этот скрипт
sed 's/:.*//' access.log | sort | uniq -c | sed -n 's/^ *1 //p'
его вывод запихнуть в for
и выводить через
cat access.log | grep $ip
чтобы уже выводило с доступом

[miruss]

@majetree в общем закинул sed 's/:.*//' access.log | sort | uniq -c | sed -n 's/^ *1 //p' в for и все гуд, всем спасибо за помощь!

[habrcomskylifelv]

Приветствую.

а если надо сделать тоже самое но удалять адреса на основе другого файла в котором подсети ?

Answer 4

[xotkot]

awk -F: '{print $1}' access.log |uniq -u

Answer 5

[afiskon]

cat ip.txt | cut -d ':' -f 1 | sort -u

Answer 6

[Sergei Borisov]

cat access.log | awk -FS: '{printf $1 "\n"};' | sort | uniq

Это если вырезать двоеточие и номер порта для Вас не проблема.

Если проблема, то тогда вопрос, а какой порт при таких записях

212.164.35.62:80
212.164.35.62:443

должен остаться?

Comments

[miruss]

мне надо их удалить вообще, вот такие вот как в Вашем примере

Answer 7

[Семён Воронов]

perl -i -ne 'print unless $a{$_}++' access.log