1. STEP/DIR- не совсем чтобы "протокол"- логика проста: сигнал DIR задает направление движения(например, при DIR=0 стол едет вперед, соответственно при DIR=1- назазд), STEP- импульс шага (один импульс=один шаг привода, т.е для перемещения на некоторую величину должно быть подано соответствующее число импульсов STEP). Ну и порт блока управления с LPT общего имеет разве что одинаковый разъем и логический уровень сигнала- назначение контактов совершенно иное, поэтому-то lpt_test ничего и не выдает.
2. Чтобы Mach3 что-то выдавал в LPT- его нужно настроить в соответствии с вашей распайкой: ищете в меню настроек вкладку с таблицей соответствия "сигнал-пин порта" и там ставите нужные цифры.
3. Управлять из какой-то своей программы- тут не знаю: как мне кажется нужно свой драйвер для этого писать....