Как удалить строку, если хотя бы в одной ячейки не число?

Question

[Username]

Здравствуйте. Есть csv файлик, в котором 515344 строк и 90 столбцов.
Необходимо удалить из DataFrame те строки, в которых значение хотя бы одного столбца будет не равно числу.

Как я пытался решить проблему (но это сработает только для DataSeries):
df.convert_objects(convert_numeric=True).dropna()
Скачать CSV можно отсюда
Код:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score, f1_score

# Load the diabetes dataset
diabetes = datasets.load_diabetes()
df = pd.read_csv('YearPredictionMSD.txt', sep=',')

Answer 1

[kzoper]

import pandas as pd
from io import StringIO

data = """
col1,col2
1,3
2,5
3,2
tt,2
4,1
5,F
1,G
"""

df = pd.read_csv(StringIO(data))


for column in df:
    df = df[df[column].apply(lambda x: x.isnumeric())]
print(df)

-=-=-=--=-=
col1 col2
0 1 3
1 2 5
2 3 2
4 4 1
-=-=-=-=-=-

Comments

[Username]

Ошибки возникли:(

Traceback (most recent call last):
  File "/home/vladislav/PycharmProjects/machine-learning/lab-2/Main.py", line 12, in <module>
    df = df[df[column].apply(lambda x: x.isnumeric())]
  File "/home/vladislav/.local/lib/python3.5/site-packages/pandas/core/series.py", line 2355, in apply
    mapped = lib.map_infer(values, f, convert=convert_dtype)
  File "pandas/_libs/src/inference.pyx", line 1574, in pandas._libs.lib.map_infer (pandas/_libs/lib.c:66645)
  File "/home/vladislav/PycharmProjects/machine-learning/lab-2/Main.py", line 12, in <lambda>
    df = df[df[column].apply(lambda x: x.isnumeric())]
AttributeError: 'int' object has no attribute 'isnumeric'

[Username]

И к сожалению не работает с дробными числами.

[kzoper]

import pandas as pd
from io import StringIO
import re
data = """
col1,col2
1,2.0
2,0.5
3,2
tt,2
4,1
5,F
1,G
"""

regex = r"[^0-9\.]+"
df = pd.read_csv(StringIO(data),sep=',')

for col in df.columns:
	filter = df[col].str.contains(regex)
	df = df.drop(df[col][filter].index)

print(df)

col1 col2
0 1 2.0
1 2 0.5
2 3 2
4 4 1

[Username]

kzoper,

raise AttributeError("Can only use .str accessor with string "
AttributeError: Can only use .str accessor with string values, which use np.object_ dtype in pandas

Возникает ошибка на моём csv файлике

[kzoper]

Username, filter = df[col].astype('str').str.contains(regex)

Answer 2

[Dimonchik]

чудес нет, либо построчно читайте в Панду

либо предподготавливайте файл:
1) считали csv.read() / правильный dialect в список
2) прогнали isdigit() через list comprehentions / преобразовали в float / int / decimal (хз за Панду с decimal)
3) записали с диалектом QUOTE_NONNUMERIC