Как определить случайное взятие ASCII-символов?

Question

[kenny182]

Нужно загрузить данные оооочень большого размера из файла и обработать их. Есть вероятность попадания в обрабатываемые данные текста ASCII-кодировки, которого там быть не должно. Есть ли какой-нибудь алгоритм проверки того, что обрабатываемые данные не содержат текста?

Comments

[Евгений Шатунов]

kenny182 , а "оооочень большой" размер - это сколько? Больше 2Мб но меньше 10?
Ок, маска ASCII таблицы - 0x80, если байт не маскируется, то его можно считать печатаемым в ASCII. Только как ты бинарные данные отличишь от текстовых с помощью этой маски?

Answer 1

[Владимир Дубровин]

В общем случае ваша задача не решается, т.к. в больших случайных данных есть ненулевая вероятность нахождения любой строки. Все зависит от данных, их формата и того, что за строки и как туда попадают.
Для выявления потенциальных строк в бинарном тексте можете посмотреть, например, утилиту strings из GNU binutils

Comments

[kenny182]

Вероятность то конечно есть. Вопрос в том, есть ли какой-то критерий, который скажет нам, что вот тут скорее всего текст откуда-то зацепился . Утилита здесь не совсем подходит, так как важно именно реализовать эту проверку программно.

[Владимир Дубровин]

kenny182: так критерии зависят от характеристик данных и текста. В бинарном файле со сжатыми данными размером 4GB, например, вероятность нахождения ASCII строки "AAAA", что-нибудь порядка 90%, никакого критерия отличить случайно попавшую туда строку "AAAA" от неслучайной, получившейся в процессе сжатия, кроме как разбирать данные здесь быть не может.

[Владимир Дубровин]

А утилита и реализована программно, там ссылка на исходный код.

[kenny182]

Владимир Дубровин: Если мы будем анализировать данные небольшими порциями, мы можем сделать таблицу, в которой будет записывать частоту встречаемости каждого байта. Если байты в основном лежат в той области, которая соответствует символам ASCII-кода, то данные имеет смысл проанализировать тщательнее. Это как пример. Может уже кто-то подобное реализовывал или есть более точный алгоритм.