Как удалить одинарную кавычку из pandas?

Question

[Денис Львов]

Добрый день!
Есть следующий код :

import dask.dataframe
import pandas as pd

file_csv = r'D:\phone2.csv'

df = dask.dataframe.read_csv(file_csv, encoding='windows-1251', sep='\\t',  engine='python')
#df.columns = df.columns.str.strip('"')           #1 Попытка убрать кавычки 
df.columns = df.columns.str.replace('"','')       #2 Попытка
df.[['phone', 'status']]

На выходе

phone | status
-------------------------------
"70000000000 | ok"
"71111111111 | ok"

т.е. по одной кавычке в каждом столбце. Кто может подсказать как убрать их.
p.s. параметр quotechar в read_csv не работает

Answer 1

[Дмитрий]

df = pd.DataFrame([{'name': '"name1"', 'status': '"ok"'}, {'name': '"name2"', 'status': '"ok"'}])
>>> df
      name status
0  "name1"   "ok"
1  "name2"   "ok"

1.

>>> for col in df.columns.values:
...     df[col] = df[col].str.strip('"')
... 
>>> df
    name status
0  name1     ok
1  name2     ok

2.

>>> df[df.columns] = df.apply(lambda x: x.str.strip('"'))
>>> df
    name status
0  name1     ok
1  name2     ok

Comments

[Денис Львов]

хорошие варианты, но это не работает в моем случае.

[Дмитрий]

dwenlvov, Если открыть файл в обычном текстовом редакторе, то кавычки будут или они появляются только когда выводишь df на печать?

[Денис Львов]

Дмитрий, если открыть их нет, как пример:
70000000000ok
разделитель \t

они появляются после вот этого sep='\\t'

[Дмитрий]

dwenlvov, должно быть sep='\t'

[Денис Львов]

Дмитрий, да, должно.
Но по факту выводит вот так: 70000000000\tok

в смысле если делать вот так sep='\t'.. и без него ровно так же
а вот, когда два \\ , то все ок, но блин кавычки

[Дмитрий]

dwenlvov, я пытался у себя похожее повторить, но всё работает нормально.
Попробуй:

import pandas as pd

file_csv = r'D:\phone2.csv'

df = pd.read_csv(file_csv, sep='\t')
print(df.head())

Какой результат получится?

[Дмитрий]

dwenlvov, И что-то мне подсказывает, что тебе сюда https://github.com/dask/dask/issues

[Денис Львов]

70000000000\tok
=) я хз. наверно придется с этим жить что ли

p.s. Я dask использовать решил не просто так, а по причине, что csv 9+Гб,

[Дмитрий]

dwenlvov, Если открыть файл в текстовом редакторе, то что там будет?
70000000000\tok
или
70000000000 ok

[Денис Львов]

Дмитрий, 70000000000 ok

[Дмитрий]

dwenlvov, у меня только 2 варианта :

1. Криво/неправильно установился dask
2. Есть какие-то "нюансы" работы даска с виндовз.

[Денис Львов]

Дмитрий, Короче говоря - ответ найден, но перед этим:
Пробовал портировать в эксель, чтобы посмотреть как он разобьет табы... не смог разбить. Вывод csv походу немного кривой.
По поводу '\\t' - это экранирование и как я понял это нормальная история.

Ответ.
Я не хочу показаться колхозом =) но это единственный вариант, который мне помог убрать эти злосчастные кавычки.
df['phone'] = df['phone'].str[1:]

на выходе чистый номер: 7000000000

Спасибо большое за участие, к чему то да пришли