Гугл блокирует сайт за вирусы размером в 0 байт — как победить?

Question

[Александр Маджугин]

Гугл прислал такое письмо:

Сайт заблокирован: вредоносное ПО
20160353764760001 3372754536
Добрый день! Ваш сайт был заблокирован за нарушение правила - вредоносное ПО. Наша проверка показала, что Ваш веб-сайт с высокой степенью вероятности содержит вредоносные программы или код, предназначенный для установки вредоносных программ. В целях безопасности пользователей мы запрещаем рекламировать ресурсы, которые могут содержать контент, потенциально опасный для Ваших клиентов.

Далее идут ссылки на файлы, причем почти все файлы статика - css, js, jpg.
Естественно файлы абсолютно не криминальные. В частности есть например http://мойсайт.ru/bitrix/js/quetzal.retailrocket/j... который легко проверить - это чистый минимизированный jquery без изменений и искажений.
Более того, есть файл http://мойсайт.ru/bitrix/spread.php?s=QklUUklYX1NN... - для не пользолвателей битрикс поясню - это файл расшаривания куков. Он пустой - содержимое его 0 байт.
Первой мыслью было то что претензия как раз к расшариванию куков, так как шаряться они между двумя разными сайтами с непохожим содержанием. Отключил.
Отправил на проверку. Пришла жалоба на одну страницу магазани и favicon.ico
favicon заменил, страницу выключил.
Отправил на проверку - в ответ целая огромная пачка ссылок и опять на статику. Конечно же совершенно валидную, причем с припиской:
Пожалуйста, проверьте внимательно, перед тем как отправлять сайт на повторную проверку. Если на сайте останется какая-либо ссылка - сайт останется заблокированным.
Т.е. мне теперь надо вручную сменить кучу изображений, css и js и пути к ним, просто для того чтобы сайт еще раз проверили и что? И опять прислали список статики якобы содержащей вирусы размером в 0 байт?
Что не нравится гуглу?

UPD:
Сайт на битрикс. На этом же экземпляре работает другой сайт (обычная лицензия битрикс на два сайта), т.е. у них общее ядро битрикс, общая БД, общие apache/nginx. К этому второму сайту претензий у гугла нет!

UPD2:
Завернул на сайт другой домен. Проходит проверку без проблем. Короче похоже вирус содержится где-то в имени домена из 12 букв...

Answer 1

[Алексей Пьянов]

Насколько я понимаю, "гугл" - это конкретно Adwords. Я много занимаюсь вирусами, и Adwords в этом плане совершенно неадекватный сервис. Вы - не единственный, кому он шлёт такие ложноположительные срабатывания. У меня ещё ни разу не получалось убедить их в неправильном подходе, остаётся только переписываться и надеяться на удачу, что когда-нибудь их алгоритм перестанет срабатывать. Можно в каком-то смысле обойти проблему, если купить ещё один домен, сделать его на хостинге алиасом к существующему и продвигать в Adwords как раз его.

Comments

[Александр Маджугин]

Удивительно, но похоже вы правы. Еще два дня назад, взял другой домен, завернул на этот сайт .... и он прошел проверку!
Отличия ТОЛЬКО в домене!

[Александр Маджугин]

Вы были правы без всякого похоже. См. мой ответ.

Answer 2

[Александр Маджугин]

После долгих тестов и препирательств с ТП стало понятно что им действительно не нравится домен.
В частности создание домена из бессмысленного набора букв и заворчивание его на этот же сайт, привело к тому, что домен прошел проверку.
Но самое интересное что проверку не прходит видоизмененный исходный домен.
Т.е. исхдный домен был допустим gift-shop.ru (придумал только что - даже не знаю существует ли такой сайт), и было создано два домена дополнительных - ajihfihvuew.ru и giftshop.ru, так вот - первый проходит проверку, второй "содержит вирусы" в рандомных файлах! Хотя домен ранее не был вообще зареган!
ТП Adwords предложило перебирать нравящиеся домены пока какой-то из них не пройдет проверку...
Я не знаю как это можно комментировать (((

Answer 3

[xmoonlight]

Включите логирование всех запросов во вне и перейдите на страницу, которая не нравится гуглу и найдите в логе - запросы на сторонние ресурсы и проверьте их.

Comments

[Александр Маджугин]

Статика. Статика которая отдается nginx. Какие запросы во вне?

[xmoonlight]

Александр Маджугин, с фронта...

[Александр Маджугин]

xmoonlight, ммм... боюсь я не понял. Что значит "с фронта"? Дополнительные запросы во вне выполняемые браузером при загрузке jpg?
Можете чуть развернуть?

[xmoonlight]

Александр Маджугин, причём тут jpg?!
Проблема в одном из скриптов JS.
"фронт" - это "front-end", т.е. браузер и клиентские скрипты (js).

[Александр Маджугин]

> причём тут jpg?!
Как это при чем? Гугл-то ругается в основном на jpg файлы. В последнем списке зараженных файлов только gif, jpg и немножко css.
Ни к одной из страниц претензий у гугла нет. Хотя в прошлых проверках проскальзывали.

> "фронт" - это "front-end", т.е. браузер и клиентские скрипты (js).
Да, я так это и понял. Но мне не понятно какие внешние запросы могут вызвать картинки.
А проверять страницы на которые гугл не жалуется как-то уж совсем странно.

[xmoonlight]

Александр Маджугин, проверьте "тела" тех файлов, на которые ругается гугл: скорее всего - там скрипт с расширением css/jpg/gif или картинка в 0 байт или что-то подобное.

[Александр Маджугин]

xmoonlight, проверял конечно - там нормальные картинки. css - нормальные css.
И даже если картинка в 0 байт - как в 0 байт может скрываться какая-то угроза?

[xmoonlight]

Александр Маджугин, этот вопрос к гуглу... возможно, что он (робот гугла) проверяет "тело" файла и если там нет изображения - он пишет ему 0 байт и ставит флаг угрозы... возможно, что ввели какую-то блокировку на определённые алгоритмы сжатия/минимизации/обфускации... Попробуйте всё в чистом виде выложить (без всяких минификаторов) и проследите за результатом.

[Александр Маджугин]

xmoonlight, 0 байт это уже я прверял и это не картинка была.
Сжатия, минимизации, обфускации нет, но мысль сверить конфиги nginx для двух сайтов логична да - сделал. Попробую.

[Максим Федоров]

Александр Маджугин,
и так -- картинка 0 байт (значит не картинка)

это не картинка была

смотрели картинку, а это не картинка (значит что это по мнению Гугла?)

[xmoonlight]

Александр Маджугин, избавьтесь от всех загружаемых и неиспользуемых объектов/ресурсов/медиа-файлов/стилей.
А уж тем более, которые размером в 0 байт!

[Александр Маджугин]

> смотрели картинку, а это не картинка (значит что это по мнению Гугла?)
Я же выше написал - шаринг кук на другой домен. Это php скрипт который загружается через src тега img
Я его выключил.
Гугл ругался не на страницу с ним, а на сам этот файл - якобы он содержит вирус.

> избавьтесь от всех загружаемых и неиспользуемых объектов/ресурсов/медиа-файлов/стилей.
Пытаюсь, но есть еще заказчик и его СЕО оптимизатор и там начинается вой - как же - это же наш любимый счетчик, а это наша любимая надоедалка, а если этот скрипт отключить то страница каталога перестанет зависать у пользователей и т.д.

[xmoonlight]

Александр Маджугин, шаринг кук - передайте обычным ajax-ом или через свой сервер (через curl) и никогда не юзайте img src для таких вещей!

[Александр Маджугин]

> шаринг кук - передайте обычным ajax-ом или через свой сервер (через curl) и никогда не юзайте img src для таких вещей!
Ну это битровый механизм, а во вторых он там нахрен не нужен. Я честно говоря не знаю зачем там его включили.

Answer 4

[Анатолий]

Злоумышленник может сделать так: запускает свой бармалейский скрипт и ваш сайт взломан. Далее осуществляются манипуляции и скрипт возвращает все на места, включая даты изменения файлов.
Файлы могут не удалятся, а чистится, по этому 0 байт.

Comments

[Александр Маджугин]

> Файлы могут не удалятся, а чистится, по этому 0 байт.
0 байт потому что этот файл не существует. Там всегда 0 байт. Невозможно его подменить, вставить туда свой код, потому удалить. ЕГО ВООБЩЕ НЕТ - это шаринг кук. Там есть только http заголовок. А файла нет. Но гугл говорит что это вирус. Вот в чем засада.

[Анатолий]

Александр Маджугин, недавно я спасал несколько зараженных сайтов.
При наличии уязвимости, можно выполнить любой код в рамках разрешений пользователя скрипта.
Очень смутно верится в то, что гугл не способен проверить наличие файла. Можно представить псевдо код:

CHEK FILES ARRAY
  IF FIlE BAD BOY
     GET FILINFO
     SAFE REPORT;

CHEK BADFILE BY CLIETN REQUEST
  BADFILE ARRAY
    IF FILE EXIST
      GET FILEINFO
      SAFE REPORT;

В логах запросов, можно увидеть ломятся ли по этим адресам только боты.
Когда ЦП на сервере "загудел", я просто отрубил его от внешнего мира и посмотрел что там - ахнул, там была куча левых скриптов и файлов и самое главное центральный скрипт, который все это запускал и удалял по завершении своих действий.

[Анатолий]

Так же были файлы с 0 байт или с одним только комментарием внутри.
Как я понял, они проверяют дырку, создают файл, если 200 ОК - понеслась.

Конечно, возможно это не ваш случай, но логи запросов и ошибок сервера, я бы посмотрел на вашем месте.

[Александр Маджугин]

Анатолий, да нет - в битрикс есть проверка системы целостности ядра и с ним все в порядке. А в формировании spread файла пользовательские скрипты например участия вообще не принимают, так что я исключаю возможность того что в этом файле что-то там когда-то отдается.

Очень смутно верится в то, что гугл не способен проверить наличие файла.

Как показывают эксперименты - гугл может все (((

Да и вообще - а почему тогда второй сайт чистый? Они же на одном ядре. И есть еще нюанс - я никогда не видел поломанного Битрикс. WP сколько угодно - постоянная проблема. OpenCart - встречалось на старых версиях. Drupal один раз видел. Bitrix - никогда.

А логи конечно проверяли - все там ровно. Никакого криминала. Да и сами сайты уже сто пятцот раз проверили разными антивирусами - все нормально.

[Анатолий]

Целостность ядра не причем, скрипт-вирус не обязан интегрироваться с ним.
Взлом может быть через передачу GET завернутым base64, не удивительно, что гугл запаниковал, при виде spread.php?s=QklUUklYX1NN...

[Александр Маджугин]

Целостность ядра не причем, скрипт-вирус не обязан интегрироваться с ним.

Обязан, если хочет добавить какой-то вывод в spread.php

А что до GET-запросов... и как он через передачу base64 в GET, ломает favicon.ico?

[Анатолий]

Александр Маджугин, я не понимаю, что вы от меня хотите?

Обязан, если хочет добавить какой-то вывод в spread.php

А если не хочет?
Я не пытаюсь вам ничего доказать.

[Александр Маджугин]

А если не хочет?

Если не хочет - не обязан. Но если вирус никакак не изменил spread.php, то на что ругается Adword?