Почему при полностью идентичном содержимом файлов (*.js, *.php, *.css) они могут иметь разный вес/размер?

Question

[sheldon_coop]

Всем привет!

Я работаю с WordPress проектами, с учетом того, что сейчас очень сложно оплачивать подписки на зарубежное ПО из России, у пользователей и разработчиков появилась необходимость как-то обновлять платные плагины для WP, одним из таких является популярный ACF PRO (https://www.advancedcustomfields.com/pro/)

Чисто случайно я наткнулся на публичный репозиторий на GitHub с большим количеством звезд, где как раз регулярно выкладывают свежие версии этого самого плагина.
https://github.com/pronamic/advanced-custom-fields-pro

Для интереса, я решил сравнить файлы и узнать, есть ли там что-то "лишнее" (во все смыслах, вредоносный код, уязвимости и тд), или там реально чистые копии PRO версий плагина.

У меня осталась версия "6.2.6.1" годовалой давности этого плагина (которая была куплена по официальной подписке), и я сравнил файлы с той же версией из репозитория GitHub. Оказалось что большинство файлов (например *.js, *.php, *.css) имеют разный размер (смотрел из-под разных ОС - винда, Ubuntu), но АБСОЛЮТНО ИДЕНТИЧНОЕ содержимое (код) при сравнении и открытии в различных редакторах (например VS Code). Я даже попытался сравнить через Git, создал проект с моей папкой плагина, затем заменил все на плагин из GitHub. Сначала гит показал что изменено более 300 файлов, но при попытке закоммитить выдал ошибку - нет изменений.

Как такое может быть, и разобраться в этом? Как реально узнать почему файлы имеют разных вес/размер?

PS
Естественно, на момент сравнения файлы были скачаны из под одной и той же ОС, и файлы физически на одном и том же SSD и в одной и той же файловой системе

Comments

[Vitsliputsli]

Как такое может быть, и разобраться в этом?

Например разные переводы строк в linux и windows.

Как реально узнать почему файлы имеют разных вес/размер?

Сравнить побайтно.

[kalapanga]

Или, например, пробелы - табуляция.

[Дмитрий]

Разный фс, разный размер кластера, от этого разный вес итогового файла на удалённом хранилище. Сравнивать надо на одном хранилище. Ну и что выше написали

[sheldon_coop]

kalapanga, нет, это сразу видно в редакторе кода (у меня настроено), я проверял

[sheldon_coop]

Vitsliputsli,

Например разные переводы строк в linux и windows.

Но на момент сравнения я ведь был из под одной и той же ОС, и файлы физически на одном и том же SSDи в одной и той же файловой системе

Сравнить побайтно.

Это как?

[Vitsliputsli]

sheldon_coop,

Я даже попытался сравнить через Git, создал проект с моей папкой плагина, затем заменил все на плагин из GitHub. Сначала гит показал что изменено более 300 файлов, но при попытке закоммитить выдал ошибку - нет изменений.

Git увидел, что файлы разные, о чем и предупредил. Но после преобразования переводов строк изменений уже нет.
Проверьте какая политика преобразования переводов строк используется в git.

Это как?

для начала хоть глазами в любом hex редакторе.

[yarovikov]

Нафиг он сдался этот динозавр acf с кучей легаси, жутким интерфейсом, да еще и за дорогую подписку

[KingAnton]

yarovikov, подскажите альтернативы (ну кроме карбона)

[yarovikov]

KingAnton, для гутенберг блоков и панелей в сайдбар (которые постмета) я использую свое решение. Но тут уровень входа не для новичков, а мне все некогда полную документацию забацать https://github.com/yarovikov/gutengood-examples

[sheldon_coop]

yarovikov, у огромного количества проектов, WP темы буквально построены на ACF, не только шаблоны а также страницы опций
Переделывать что-то полностью это уже другая задача, другой бюджет и другое количество времени

[yarovikov]

sheldon_coop, никто не спорит)

[sheldon_coop]

Дмитрий, разве то, что они физически на одном SSD, в одной файловой системе, из под одной ОС, но в разных директориях, это не "одно хранилище"?
Если я другие файлы с кодом, тех же форматов, скопипащщу у себя, они будут одинокого размера

Answer 1

[Wataru]

Многие платформы поддерживают метаданные для файлов. В винде они называются потоками (file streams). Их не видно, если просто открыть файл, но всякие программы знают, как туда залезть и что-то там посмотреть. Например, все браузеры при скачивании файлов из интернета делают в этих потоках пометку, что файл-то скачан. И винда потом при попытке открыть такой экзешник обычно выдает предупреждение: "Ахтунг, файл из интернета, точно хотите открыть?"

В эти потоки можно много чего запихать. Сами по себе данные там никак не могут заразить компьютер, но какой-нибудь вредоносный загрузчик вполне может данные оттуда достать и запустить. Так что это может быть скрытая полезная нагрузка вирусни, и какой-то один из файлов содержит код распаковки.

На линуксе похожая штука точно есть, но я не помню, как оно называется.

Еще варант: не ошиблись ли вы с подсчетом размеров файлов? Может вы килобайты с кибибайтами перепутали?

А гит скорее всего заметил измененные даты на файлах, но изменений в самих файлах не нашел. И да, гит эти потоки игнорирует.

Comments

[sheldon_coop]

Так что это может быть скрытая полезная нагрузка вирусни, и какой-то один из файлов содержит код распаковки

Но если платные Kaspersky Premium, и Dr Web (на двух разных ПК) никаких угроз не нашли, а в самом содержимом - коде файлов, нет никаких отличий от моей копии, значит можно считать что все безопасно?

Еще варант: не ошиблись ли вы с подсчетом размеров файлов? Может вы килобайты с кибибайтами перепутали?

не думаю, например
"jquery-ui-timepicker-addon.js"
89 170 байт
против
85 976 байт

Их не видно

Можно ли как-то их просмотреть?
Тут еще писали про сравнение в hex редакторе

[Wataru]

sheldon_coop, Антивирусы умеют туда смотреть, так что если ничего не находит, все в порядке.

Беглый гуглинг нашел вот это: https://learn.microsoft.com/en-us/sysinternals/dow...

Возможно есть более удобные программы.

Answer 2

[VoidVolker]

Как именно вы проверяли вес файлов и чем и как сравнивали их содержимое? Есть два варианта: возможно вы спутали размер файла и место занимаемое на диске, показываемые в свойствах файла - это разные вещи. На диске файл занимает больше место, т.к. под файл выделяется место кластерами, а размер кластера фиксирован для раздела и может быть разным, и соответственно в разных ОС и в разных ФС он может быть разным. Второй вариант - разные переводы строк в разных ОС. Гит умеет подменять и в разных ОС размер и хэш файлов будет отличаться из-за разных принятых переводов строк в ОС или настроек гита.