Как прочитать файл MNIST в php?

Question

[Fear1]

Подскажите как прочитать файл mnist в php. Целый день рою интернет и не могу разобраться, так как плохо знаю php да и вообще как работать с бинарными файлами.

Сейчас, если вывести первый элемент массива файла, то получаю результат в непонятной кодировке.

Помогите понять как достать из файла, например, первую картинку, в которой 28x28 значений для пикселей. Хочется разобрать в нейронных сетях на примерах, а одному никак не получается.

Сам mnist: yann.lecun.com/exdb/mnist

Comments

[Sergej]

https://github.com/search?l=PHP&q=mnist&type=Repos...

Answer 1

[Сергей Соколов]

По вашей же ссылке, ниже, идёт описание формата файлов:

[offset] [type]          [value]          [description]
0000     32 bit integer  0x00000803(2051) magic number
0004     32 bit integer  60000            number of images
0008     32 bit integer  28               number of rows
0012     32 bit integer  28               number of columns
0016     unsigned byte   ??               pixel
0017     unsigned byte   ??               pixel
........
xxxx     unsigned byte   ??               pixel

Pixels are organized row-wise. Pixel values are 0 to 255. 0 means background (white), 255 means foreground (black).

Т.е. грубо говоря, можно проигнорировать заголовок, отмотать сразу на 16-й байт и прочитать 784 байта первой картинки. Каждый байт это яркость очередного серого (одноканального) пикселя: 0 белый, 255 черный.

В PHP

• открыть файл fopen() как бинарный ('b' нужно только в Windows): $fh = fopen('train-images-idx3-ubyte', 'rb');
  
• отмотать fseek() на 16-й байт:
  fseek( $fh, 16);
  
• Прочитать fread() 784 байта: $byteString = fread($fh, 784);
  

Дальше можете работать со строкой или распаковать unpack() байты:

$arr = unpack( 'C*', $byteString);
$arr[28] // яркость первого пикселя во второй строке

P.S. но с оптимизмом глядя в будущее, я бы порекомендовал заморочиться и освоить Python, т.к. для него на порядки больше библиотек, уроков и людей в теме машинного обучения.

Comments

[Fear1]

Сергей, огромное вам спасибо за разъяснения. Очень помогло разобраться в работе с бинарными файлами.

Вроде делаю как вы и говорите, но все равно не получается.

$fh = fopen('train-images-idx3-ubyte', 'rb');
fseek( $fh, 16);
$byteString = fread($fh, 784);

$arr = unpack( 'C', $byteString);
print_r($arr);

Array ( [1] => 0 )

Код выше выдает лишь массив из одного элемента. Но ведь должно быть 784...
Если вывожу echo $arr[28]; - ошибка, так как такого элемента нет в массиве.

Подскажите, пожалуйста, что я делаю не так?

P.S. Спасибо за совет. Постараюсь освоить питон в ближайшем будущем.

[Сергей Соколов]

Fear1, звёздочку забыл в формате распаковки. Обновил ответ: unpack('C*', ...

[Fear1]

Сергей Соколов, огромное спасибо, все заработало :)