Как создать DataFrame?

Question

[neuro4live]

Всем привет! Мне необходимо результаты работы программы запущенной через суб процесс записывать в таблицу csv. Подсказали что это можно сделать с помощью библиотек пандас, на основе результатов создать DataFrame, а после создать csv файл куда будет всё записано. В таблицу попадают все значения, которые я укажу в DataFrame, но именно результата работы программы там нету, однако он отображается в терминале. На скриншоте видно что появляется в таблице. Пожалуйста подскажите как это сделать. Заранее спасибо
Вот код:

import pandas as pd
import subprocess
from time import sleep
p=subprocess.Popen(['/usr/bin/python3', '/home/roman/PycharmProjects/uznaemfileID/fileid.py', 'stdout=subprocess.PIPE', 'stderr=subprocess.STDOUT'])
result=p.stderr
sleep(1)


#create a pandas dataframe
df = pd.DataFrame({'file_id': [result]})
#create a csv file
df.to_csv("data.csv")
p.terminate()

Answer 1

[o5a]

Подозреваю, что предполагалось сделать это:

p=subprocess.Popen(['/usr/bin/python3', '/home/roman/PycharmProjects/uznaemfileID/fileid.py'], stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
result=p.stdout.read()

Только если это работа с питоновскими скриптами, правильнее было бы импортировать модуль и вызывать функции напрямую, без прослойки в виде subprocess.

Comments

[neuro4live]

Выдает вот такую ошибку
Traceback (most recent call last):
File "/home/roman/PycharmProjects/pythonProject15/main.py", line 11, in
result=p.stdout.read()
AttributeError: 'NoneType' object has no attribute 'read'

[o5a]

neuro4live, копируйте код внимательнее

[neuro4live]

o5a, Спасибо, но в таком случае субпроцесс работает бесконечно и код на нём зависает и файл data.csv не создается

[o5a]

neuro4live, так а почему у Вас скрипт работает бесконечно? Как предполагалось его использовать в таком случае? read() просто получает консольный вывод этого скрипта, он сам по себе ничего не должен вешать.
Приведите тогда полный код того, что запускаете.

[neuro4live]

Спасибо разобрался. Надо вместо read писать readline, тогда работает. Но записывается только в одну ячейку, соотвественно новый результат стирает старый. Хотелось-бы, чтобы всё сохранялось списком

[neuro4live]

o5a, субпроцесс который запускается, это телеграм бот, который пересылает все входящие тектовые сообщения, а если ему присалть видео, присылает file_id. Мне нужно чтобы это сохранялось в таблицу.
Вот код самого бота, если его запустить он тоже работает бесконечно, пока не нажмешь на стоп. Спасибо!

import telebot
bot = telebot.TeleBot('1539247286:AAFpbV-4Jzl7FgHcASFGQK1chT8_6k1y3QA')

@bot.message_handler(content_types=['text'])
def repeat_all_message(message):
  bot.send_message(message.chat.id,message.text)
  print(message.text)

@bot.message_handler(content_types=['video'])
def command_handle_video(message):
  bot.send_message(message.chat.id, message.video.file_id)
  print(message.video.file_id)

if __name__ == '__main__':
  bot.polling()

[o5a]

neuro4live, свой токен телеграм лучше не выкладывать, им могут воспользоваться.

По поводу самой программы. У Вас же уже есть готовый скрипт, возвращающий информацию. Просто добавьте в него сохранение ее в нужные файлы, не нужно использовать прослойку в виде запуска через процесс и чтения вывода. Примерно так:

# создаем процедуру для сохранения данных в файл
def dump_info(text):
    # и делаем запись переданной информации в файл

@bot.message_handler(content_types=['video'])
def command_handle_video(message):
  bot.send_message(message.chat.id, message.video.file_id)
  print(message.video.file_id)
  # а в самом хэндлере вызываем нашу процедуру сохраняющую информацию
  dump_info(message.video.file_id)