На сервер не заливаются файлы определенного размера?

Question

[Искандер Гиниятуллин]

Столкнулся с очень интересной проблемой — может кто-то еще с этим сталкивался?


Симптомы такие — на сайт не заливаются файлы строго определенных размеров.

Например есть файл размером 69 459 байт.


Он не заливается на сайт вообще никаким способом (т.е. если отправляем его методом POST получаем вот такую запись в логах:

"POST / HTTP/1.1" 400 0 "/" "Mozilla/5.0 ..."

При этом в error.log все пусто.


Если провобовать залить ее по FTP — то же самое, файл не заливается (точнее VSFTPD создает файл размером 0 байт и все)

В логах vsftpd при этом пусто (как будто никакой загрузки вообще не происходило).


Самое интересное что если изменить этот файл (например пересохранить через paint) и его размер становится больше либо меньше то он прекрасно заливается и методом POST и по FTP.


Сервер арендуем на parking.ru, система debian 6.0.4 squeeze

Linux 2.6.32-5-amd64 #1 SMP Mon Feb 25 00:26:11 UTC 2013 x86_64 GNU/Linux


В чем может быть проблема неприятия сервером определнных файлов? Куда копать?

Comments

[vsespb]

А абсолютно другой файл такого же размера? А через SSH/SCP заливается?

Answer 1

[vsespb]

Т.е. получается один конкретный файл не заливается, размер не причём. Если файл изменить — заливается. Если через SSL закачивать — заливается.

Возможно ваш антивирус, или какой-то софт вашего провайдера, или какой-то софт parking.ru анализирует трафик и считает это секюрити атакой. Можно попробовать позаливать на другие хосты, на другие хосты parking.ru, на parking.ru с другого провайдера. Или обратиться к parking.ru и описать ситуацию очень конкретно.

(пример такого софта — NAXSI но, только для HTTP)

Других идей нет.

Comments

[Искандер Гиниятуллин]

Проблема в том что не заливается не один конкретный файл а много разных файлов — изображения, pdf документы и др.

Будем общаться со службой поддержки паркинга, думал просто может быть можно как-то на стороне сервера проверить вообще доходит ли тело запроса до него.

[Искандер Гиниятуллин]

Хостер ответил что у них нет никакой фильтрации данных, значит данные филтьтруются где-то на уровне нашего сервера.

Только никаких инструментов фильтрации мы не устанавливали, стоит голый Debian (+ vsftpd, nginx и т.д.).

Сначала грешил на nginx, но каким образом nginx может отражаться на работе FTP?

[vsespb]

Может Ваш провайдер или Ваш антивирус. Попробуйте с другого места залить (с другого хостинга как вариант)

[vsespb]

p.s. у меня лет 6-7 назад был антивирус-файрвол KERIO, не работала UDP авторизация провайдера. Оказалось дело в драйвере KERIO (будучи дажу динсталированным он работал). вылечилось удалением драйвера. Наверное не пускал UDP пакеты определённого размера. До этого мы с сотрудником провайдера рассматривали разные варианты… вплоть до трещины в чипе сетевой карты.

Answer 2

[ValdikSS]

Вам остается только на обоих сторонах слушать трафик через tcpdump и смотреть, что приходит.

Comments

[Искандер Гиниятуллин]

Проблема в том, что на моей стороне данные отправляются а на стороне сервера tcpdump молчит.

Написал в техподдержку ДЦ, они дали на пробу аккаунт FTP который находится на соседних серверах в том же дата-центре, туда «роковой файл» тоже не заливается.

Написал им чтобы разбирались.

[ValdikSS]

Могу посоветовать только изменять файл побайтно и пробовать передавать его на сервер. У вас на пути либо какой-то анализатор, может даже у вашего провайдера, либо ошибка в памяти на каком-то маршрутизаторе, такое крайне редко, но бывает. Если ничего секретного нет, то дайте мне этот файл и URL или FTP, я попробую его залить, если у меня получится, то преграда явно со стороны вашего провайдера или магистралов.

[Пума Тайланд]

Это скорее тогда проблема у вас, а не у дц

[Искандер Гиниятуллин]

Фишка в том, что файл не заливается только в данный ДЦ, с остальными все ОК.

И мы проверяли на разных машинах, находящихся в этом ДЦ — ни на одну не заливается.

Answer 3

[Искандер Гиниятуллин]

Уточняю — абсолютно другой файл такого же размера (байт в байт) заливается.

Comments

[Искандер Гиниятуллин]

Через SFTP заливается

[microphone]

1) тобиш файл завернутый в шифрованый канал пролазит спокойно, а FTP/HTTP не ходит?
2) файл по HTTP/FTP данные уходят полностью, но на серваке не сохраняются или рвется через какое то время посреди загрузки?
лирическое отступление: HTTPS (SSL) пробуйте в качестве эксперемента.

[Искандер Гиниятуллин]

1. да, так и есть
2. да, уходит полностью, на сервер не приходит вообще (в логах апача ничего нет, nginx просто пишет 400 Bad Request).
В случае с FTP — уходит полностью, но на сервер вообще не приходит (создается файл размером 0 байт)
tcpdump

Логи FTP (успешная загрузка файла)

Команда:	TYPE I
Ответ:	200 Switching to Binary mode.
Команда:	PASV
Ответ:	227 Entering Passive Mode
Команда:	STOR map-copy.png
Ответ:	150 Ok to send data.
Ответ:	226 Transfer complete.
Статус:	Файл передан успешно, передан 69 459 байт в 1 секунда
Статус:	Получение списка каталогов...
Команда:	PASV
Ответ:	227 Entering Passive Mode 
Команда:	LIST
Ответ:	150 Here comes the directory listing.
Ответ:	226 Directory send OK.
Статус:	Список каталогов извлечен

tcpdump успешной отправки файла (на стороне сервера)

tcpdump: listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes
10:04:45.942509 IP (tos 0x0, ttl 118, id 14646, offset 0, flags [DF], proto TCP (6), length 52)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [S], cksum 0xff92 (correct), seq 990096889, win 8192, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 0
10:04:45.972074 IP (tos 0x0, ttl 118, id 14647, offset 0, flags [DF], proto TCP (6), length 40)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [.], cksum 0xdac8 (correct), ack 2821577823, win 256, length 0
10:04:45.994950 IP (tos 0x0, ttl 118, id 14649, offset 0, flags [DF], proto TCP (6), length 53)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0xcda4 (correct), seq 0:13, ack 37, win 256, length 13
10:04:46.017772 IP (tos 0x0, ttl 118, id 14650, offset 0, flags [DF], proto TCP (6), length 57)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x911c (correct), seq 13:30, ack 71, win 256, length 17
10:04:46.047514 IP (tos 0x0, ttl 118, id 14652, offset 0, flags [DF], proto TCP (6), length 54)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x2d80 (correct), seq 30:44, ack 94, win 256, length 14
10:04:46.071891 IP (tos 0x0, ttl 118, id 14653, offset 0, flags [DF], proto TCP (6), length 75)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0xdae7 (correct), seq 44:79, ack 120, win 256, length 35
10:04:46.095725 IP (tos 0x0, ttl 118, id 14655, offset 0, flags [DF], proto TCP (6), length 45)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x3b6c (correct), seq 79:84, ack 157, win 256, length 5
10:04:46.175143 IP (tos 0x0, ttl 118, id 14657, offset 0, flags [DF], proto TCP (6), length 40)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [.], cksum 0xd9b4 (correct), ack 194, win 255, length 0
10:04:49.406554 IP (tos 0x0, ttl 118, id 14659, offset 0, flags [DF], proto TCP (6), length 48)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x07b3 (correct), seq 84:92, ack 194, win 255, length 8
10:04:49.430816 IP (tos 0x0, ttl 118, id 14660, offset 0, flags [DF], proto TCP (6), length 46)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x28de (correct), seq 92:98, ack 225, win 255, length 6
10:04:49.456833 IP (tos 0x0, ttl 118, id 14662, offset 0, flags [DF], proto TCP (6), length 59)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0xbd36 (correct), seq 98:117, ack 277, win 255, length 19
10:04:49.583274 IP (tos 0x0, ttl 118, id 14724, offset 0, flags [DF], proto TCP (6), length 40)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [.], cksum 0xd92a (correct), ack 299, win 255, length 0
10:04:50.011955 IP (tos 0x0, ttl 118, id 14733, offset 0, flags [DF], proto TCP (6), length 46)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x2863 (correct), seq 117:123, ack 323, win 255, length 6
10:04:50.033458 IP (tos 0x0, ttl 118, id 14734, offset 0, flags [DF], proto TCP (6), length 46)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x2c24 (correct), seq 123:129, ack 374, win 255, length 6
10:04:50.104691 IP (tos 0x0, ttl 118, id 14740, offset 0, flags [DF], proto TCP (6), length 40)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [.], cksum 0xd895 (correct), ack 437, win 254, length 0

Лог FTP неуспешной отправки

Команда:	PASV
Ответ:	227 Entering Passive Mode
Команда:	STOR raions-msk211.png
Ответ:	150 Ok to send data.
Ошибка:	Превышено время ожидания соединения
Ошибка:	Передача файла потерпела неудачу

tcpdump на стороне сервера гораздо короче:

10:05:18.548021 IP (tos 0x0, ttl 118, id 14742, offset 0, flags [DF], proto TCP (6), length 46)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x27e6 (correct), seq 129:135, ack 437, win 254, length 6
10:05:18.573838 IP (tos 0x0, ttl 118, id 14743, offset 0, flags [DF], proto TCP (6), length 64)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [P.], cksum 0x1d66 (correct), seq 135:159, ack 488, win 254, length 24
10:05:18.686228 IP (tos 0x0, ttl 118, id 14752, offset 0, flags [DF], proto TCP (6), length 40)
    static-host.kzn16.ru.65017 > example.com.ftp: Flags [.], cksum 0xd82e (correct), ack 510, win 254, length 0

[microphone]

Я читал на просторах интернетов об интелевских сетевухах которые реагировали на «волшебные пакеты» и админ который наткнулся на эту магию долго искал этот пакет и нашел, даже нашел волшебную часть пакета, но там полностью интерфейс помойму падал :-)

А вообще как вам уже писали, факт в том что что-то вмешивается в соединение между клиентом и сервером, где — искать вам, если от вас на сервера других хостеров отлично ходит именно этот файл то, то искать стоит в части сегмента от вашего прова(так как он если бы ваш пров фильтровал то делал бы это независимо от конечного пункта) до ДЦ (так как вы говорите что с некоторых провайдеров файл всетаки проходит)
Возможно стоит посмотреть марсшруты.

Answer 4

[FilimoniC]

Что значит «Не заливается»? Это из категории «ничего не работает».
Берем FileZilla, врубаем логирование, льем файл пл FTP, пастим сюда логи. (возможно, и стандартного уровня логирования хватит — его и включать не надо).
Если трансфер проходит нормально, значит за вашим фтпд кто-то лох или он сам лох.
Пробуйте по SFTP залить на то же место — если тоже неудача, значит сервера передачи в белый список и лох кто-то дальше (антивирь, например, или мониторинг какой-то), если нет — остается в черном.
Заодно проверьте режим передаче — поставьте бинари принудительно.
Возможен баг с серверным фтп — переключите актив-пассив.

Comments

[FilimoniC]

Проверьте еще трансфер между серверами внутри ДЦ — так вы исключите вариант что лоханулся кто-то не дойдя до хостера.
Попробуйте залить с другой машины через другого провайдера
На крайняк проверьте другой фтпд

[Искандер Гиниятуллин]

Через SFTP все ок.
Бинари/АСКИ режими пробовал не влияет

Проблема не только в FTP, но и в HTTP.

Проблема проявляется только у некоторых провайдеров (в частности в Казани с Ситикома не заливается данный отдельно взятый файл, с Билайна заливается). Из Москвы заливается, из Ижевска — не заливается.