Почему PHP скрипт удаляет не все дубликаты строки?

Question

[Михаил Компас]

Есть скрипт (выполняется с помощью cron) :

<?php
$file= file ('sbor_proxy_s_dybliami.txt'); // файл на входе
sort ($file); // сортируем по алфавиту
$file = array_unique($file); // убираем повторы
foreach($file as $val){
$end .= $val ;
}
$out=fopen('gotovo_vse_sellery_bezdybley.txt','w'); // файл на выходе
fwrite($out,$end);
fclose($out);

Данный скрипт должен прочитать файл sbor_proxy_s_dybliami.txt ,
далее проверить его на наличии дублей,
далее удалить именно дублицирующую строку, но оставив оригинальную строку,
далее скрипт записывает полученные данные без дублей в файл gotovo_vse_sellery_bezdybley.txt

Вопрос: Почему этот скрипт удаляет не все дубликаты и в файле gotovo_vse_sellery_bezdybley.txt я вижу повторяющиеся строки, что изменить скрипте чтоб скрипт как мне необходимо удалял дубликаты ?

прилагаю данные файлов ниже:

входной файл: sbor_proxy_s_dybliami.txt

2.87.116.68:8080
79.130.38.71:4145
79.131.163.165:4145
85.73.26.116:8080
62.103.25.184:35798
94.65.255.158:4145
79.130.222.252:4145
178.147.5.112:4145
79.106.108.102:4145
79.106.165.238:39983
185.120.38.103:4145
80.90.88.147:32850
79.106.108.110:57960
79.106.165.30:50194
79.106.34.26:4145
79.106.35.197:1080
80.78.70.9:4145
185.188.216.93:4145
91.187.116.232:53526
185.85.152.241:58083
95.107.199.90:4145
37.26.85.98:4145
185.33.34.76:51604
185.85.152.243:1080
178.132.218.126:4145
80.78.73.58:4145
77.247.88.10:41757
91.187.116.232:53526
37.26.85.98:4145
79.106.115.105:4145
79.106.108.102:4145
79.106.165.238:39983
185.120.38.103:4145
80.90.88.147:32850
79.106.165.30:50194
79.106.108.110:57960
80.78.70.9:4145
79.106.35.197:1080
79.106.34.26:4145
185.188.216.93:4145
46.190.47.253:4145
85.74.89.216:4145
2.87.116.68:8080
79.130.38.71:4145
79.131.163.165:4145
85.73.26.116:8080
62.103.25.184:35798
94.65.255.158:4145

выходной файл, в нём не должно быть дублей, но они почему-то есть : gotovo_vse_sellery_bezdybley.txt

178.132.218.126:4145
178.147.5.112:4145
185.120.38.103:4145
185.188.216.93:4145
185.188.216.93:4145
185.33.34.76:51604
185.85.152.241:58083
185.85.152.243:1080
2.87.116.68:8080
37.26.85.98:4145
46.190.47.253:4145
62.103.25.184:35798
77.247.88.10:41757
79.106.108.102:4145
79.106.108.110:57960
79.106.115.105:4145
79.106.165.238:39983
79.106.165.30:50194
79.106.34.26:4145
79.106.35.197:1080
79.130.222.252:4145
79.130.38.71:4145
79.131.163.165:4145
80.78.70.9:4145
80.78.73.58:4145
80.90.88.147:32850
85.73.26.116:8080
85.74.89.216:4145
91.187.116.232:53526
94.65.255.158:414594.65.255.158:4145
95.107.199.90:4145

Comments

[kafkiansky]

А при чем тут крон? Отметили бы ещё тег phpstorm, потому что в нем пишете код, браузер хром, потому что в нем зашли на тостер и задали вопрос.

Answer 1

[nokimaro]

Думаю это решит проблему

sort ($file); // сортируем по алфавиту
$file = array_map('trim', $file); // <---------------
$file = array_unique($file); // убираем повторы

Так как в приведённом коде нет проблем, если это весь код
https://3v4l.org/ukTns

Видим что из 48 ip с дублями остаётся 30 уникальных

Comments

[Михаил Компас]

Правильно исправил?(см код ниже). Я добавил ваш код, но вот этот код я закомментил, т к он мне склеивает в файле txt все результаты в одну строчку: //$file = array_map('trim', $file); // <---------------

<?php
$file= file ('sbor_proxy_s_dybliami.txt'); // файл на входе
sort ($file); // сортируем по алфавиту
//$file = array_map('trim', $file); // <---------------
$file = array_unique($file); // убираем повторы
foreach($file as $val){
$end .= $val ;
}
$out=fopen('gotovo_vse_sellery_bezdybley.txt','w'); // файл на выходе
fwrite($out,$end);
fclose($out);
?>

Использовал полученный код php для удаления дубликатов, но все равно дубликаты остаются, только что проверил из 194 строк , в них 65 строк - это дубликаты.

также есть склейка нескольких строк (см скриншот ниже)

[nokimaro]

Иван Иванов,

<?php
$file= file ('sbor_proxy_s_dybliami.txt'); // файл на входе
sort ($file); // сортируем по алфавиту
$file = array_map('trim', $file); // <---------------
$file = array_unique($file); // убираем повторы
foreach($file as $val){
$end .= $val."\n";
}
$out=fopen('gotovo_vse_sellery_bezdybley.txt','w'); // файл на выходе
fwrite($out,$end);
fclose($out);
?>

[Михаил Компас]

nokimaro, работает норм, дублей нет, но есть склейка в результатах , причем она через несколько десятков строк появляется.

Вот результат, там дублей нет, есть склейка. Как убрать склейку?

результат норм! но есть склейка

109.238.229.233:4145
109.238.230.42:4145
128.199.208.93:47006
128.199.208.93:53866
130.0.25.194:58083
168.90.92.34:4145
178.132.218.126:4145
178.134.152.46:48553
178.134.71.138:37590
178.134.71.146:4145
185.120.38.103:4145
185.139.56.133:4145
185.174.210.228:4145
185.186.81.250:4145
185.188.216.93:4145
185.188.218.10:56081
185.189.208.145:51693
185.189.208.177:51693
185.189.208.185:61885
185.189.208.186:51693
185.33.34.76:42293
185.33.34.76:51604
185.85.152.241:58083
185.85.152.243:1080
186.188.109.5:999
186.24.12.114:8181
186.24.13.82:59311
186.24.50.164:4145
186.24.6.36:59311
186.89.174.192:8080
186.90.154.176:8080
186.92.192.93:8080
186.92.52.222:3128
186.92.72.33:3128
186.93.50.57:8080
186.94.214.56:8080
188.129.161.55:47785
188.169.142.196:4145
190.142.168.58:4145
190.142.57.27:1080
190.198.18.115:8080
190.198.28.95:8080
190.198.66.7:8080
190.200.134.246:4145
190.200.166.147:4145
190.200.84.104:4145
190.202.198.56:8080
190.203.106.30:4145
190.207.201.232:8080
190.217.1.121:55170
190.217.1.137:55170
190.217.1.33:55170
190.217.1.53:55170
190.217.7.77:999
190.36.122.226:4145
190.36.37.182:8080
190.38.221.180:8080
190.73.43.54:8080
190.75.178.177:8080
190.75.2.162:8080
190.75.26.92:8080
190.75.55.70:8080
190.78.0.183:8080
190.78.123.37:3128
190.78.184.207:8080
190.97.254.251:51327
191.97.19.78:999
195.170.15.66:59738
2.87.116.68:8080
200.8.217.153:8080
200.82.145.154:4145
200.82.147.224:4145200.84.176.124:8080
200.84.176.124:8080
200.93.82.192:8080
201.249.190.235:3128
212.205.112.162:38554
31.146.223.218:56308
31.146.31.182:3128
31.192.42.150:32269
37.26.85.98:4145
37.26.86.206:4145
37.75.128.174:47254
37.75.129.210:38944
37.75.135.161:43443
46.183.123.233:57826
46.183.123.241:57826
46.183.124.129:57826
46.183.124.162:57826
46.190.47.253:4145
46.198.143.140:57375
46.49.121.187:46354
46.99.145.149:8291
46.99.254.19:8291
46.99.255.235:8080
5.178.217.227:31019
5.206.232.190:56212
5.206.236.45:1080
62.103.25.184:35798
62.103.74.230:35694
62.217.97.166:30586
62.217.97.174:30586
77.242.26.43:4145
77.242.26.45:8080
77.247.88.10:41757
77.69.23.183:4145
79.106.108.110:57960
79.106.115.105:4145
79.106.165.220:58171
79.106.165.238:39983
79.106.165.30:50194
79.106.166.154:1080
79.106.224.231:58437
79.106.229.51:4145
79.106.34.26:4145
79.106.34.27:4145
79.106.34.5:4145
79.106.34.9:4145
79.106.35.138:1080
79.106.35.142:1080
79.106.35.197:1080
79.106.35.201:1080
79.106.35.20:1080
79.106.35.210:1080
79.106.35.224:1080
79.106.35.253:1080
79.106.35.254:1080
79.106.35.61:1080
79.106.35.82:4145
79.106.36.2:1080
79.106.66.25:11337
79.129.117.118:46400
79.129.167.50:4145
79.129.172.184:4145
79.129.98.181:1080
79.130.222.252:4145
79.130.38.71:4145
79.131.157.101:4145
79.131.163.200:4145
79.131.167.70:4145
79.131.200.100:4145
79.131.52.154:4145
79.174.24.137:4145
80.241.253.210:4145
80.78.70.9:4145
80.78.73.40:4145
80.78.76.112:1080
80.78.76.81:40814
80.90.87.186:57544
80.90.88.147:32850
80.91.125.99:4145
80.92.181.3:44550
82.114.72.218:4145
82.114.75.104:4145
82.114.81.129:4145
82.114.82.90:56068
82.114.90.90:4145
82.114.94.68:59311
82.114.94.69:59311
85.117.56.73:4145
85.117.56.74:4145
85.117.56.74:414585.117.56.74:4145
85.117.60.126:4145
85.117.62.202:61885
85.117.63.98:51693
85.72.168.104:4145
85.72.168.61:4145
85.72.220.221:4145
85.72.32.44:44550
85.74.162.240:4145
85.74.163.251:4145
85.74.89.216:4145
85.75.174.205:8080
85.75.232.102:4145
85.75.60.99:8080
89.232.34.161:4145
91.132.174.70:4145
91.187.116.232:53526
92.241.66.138:4145
92.241.92.218:14888
92.241.93.154:4145
92.51.89.126:44659
94.130.73.22:1549
94.130.73.27:13057
94.130.73.27:13723
94.130.73.29:14217
94.130.73.29:14223
94.130.73.29:14751
94.130.73.29:14806
94.130.73.29:15107
94.130.73.30:22005
94.130.73.30:22450
94.65.255.158:4145
95.104.54.227:58476
95.137.240.30:55413