Можно использовать np.genfromtxt(), ему можно передать массив из только нужных строк, заранее выкинув все ненужные. В простейшем случае можно сделать так (при желании использовать более точную проверку цифр):
nums = '-0123456789'
# выбираем только цифровые строки
lines = [line for line in csv_file.readlines() if line[0] in nums]
data = np.genfromtxt(lines, delimiter=",")