На ваш вопрос нет и не может быть точного ответа, но если говорить о инди то я бы выбирал пиксельную - она в тренде последние несколько лет. Из успешных пиксельных проектов последнего времени особо стоит отметить Stardew Valley - игра стала бестселлером в стиме буквально за несколько дней после выхода. Естественно успех ей обеспечил в первую очередь вакуум в данном жанре, но и приятная пиксельная графика хорошо дополнила картину.
С другой стороны растр и вектор более универсальны, а значит охватывают намного больше рынок.
В любом случае я бы сосредоточился на том типе в котором лично у вас рисовать выходит лучше, к которому "душа лежит" так сказать.