Как из pdf-файла спарсить таблицу, размещенную на двух страницах и сохранить в Excel?

Vladimir Mikushkin,
все вроде одолел я его в общем вот так работает. Но код конечно грязный

columns = df1.columns
df2 = df2.reset_index(drop=True).T.reset_index().T
df2.columns = columns
df2.reset_index(drop=True)

Работает вот ровно, подработай его когда решение есть там уже подправишь.

Как из pdf-файла спарсить таблицу, размещенную на двух страницах и сохранить в Excel?

Vladimir Mikushkin, По моему не работает, подожди, надо убирать drop=True второй раз лишний. И еще чуть повозится. Подожди повнимательней посмотри.

Как из pdf-файла спарсить таблицу, размещенную на двух страницах и сохранить в Excel?

Vladimir Mikushkin, Да там лишь бы фреймы получал, я недавно парсил pdf да с фремами не много возни было, но а как иначе чудес не бывает. Если фреймы есть пусть кривоватые в смсыле имена колонок съехавшие там с пропущенными значениями проблемы это все решаемо, там уже pandas это машина. Лишь бы парсил остальное дело техники.

Как из pdf-файла спарсить таблицу, размещенную на двух страницах и сохранить в Excel?

Vladimir Mikushkin, Ну мне без кода конечно же тяжело отвечать на такую проблему. ну если я вас правильно понимаю. то вот накидал трюк.

columns = df1.columns
df2 = df2.reset_index(drop=True).T.reset_index(drop=True).T
df2.columns= columns

затем то что в ответе. Ну проверьте второй датафрейм должен поправится его имена колонок должны стать такие же как у первого, а его старые имена колонок должны стать первой строкой. И потом модно конкатенировать без проблем.

Как поменять столбец и строку так, чтобы строка стала столбцом и наоборот?

А исходя из примера, вам этого не нужно.

Как поменять столбец и строку так, чтобы строка стала столбцом и наоборот?

Как поменять столбец и строку так, чтобы строка стала столбцом и наоборот?

Для этого у фрейма есть аттрибут Т (transpose)
df.T

Какой процент распознавания точности артикула штучного товара на витрине по его внешнему виду считается "хорошим" а какой - "отличным"?

Роми, Абсолютно, мы имеем базовую модель ML которая что то там, классифицирует или регрессирует не важно. Так вот метрики ее перформанца существуют для улучшения базовой модели КОНКРЕТНОЙ ЗАДАЧИ. А создание некого бенмарка, вот столько то должно быть, вот столько то это круто. Нет так невозможно. Конкретные данные, конкретная задача и улучшение метрик на этих данных и этой задаче. Весь твой МИР это твои данные и твоя задача и все твои метрики релевантны только относительно этого твоего МИРА,

Какой тут критерий подойдет для аб тестирования?

frontjss, В общем грустно на это все смотреть. У вас все смешалось абсолютно.
Во первых все что вы представили это набор разрозненных метаний. В чем вопрос непонятно, Сначала спрашиваете одно потом другое тут же третье. pandas код бессмысленный, конкатенировать внутри цикла не нужно, если вы хотите произвести 1000 фреймов а потом собрать их то делается вот так.

frames = []
for i in range(1000):
    создаю frame, манипулирую
    frames.append(df)
result = pd.concat(frames)

Я вашим обучением заниматься не буду извините.

Какой процент распознавания точности артикула штучного товара на витрине по его внешнему виду считается "хорошим" а какой - "отличным"?

Роми, Ну хорошо давай подойдем с технической стороны вопроса. Скажу сразу разочарую я тут тебя.

И так есть ДАННЫЕ мы их разбили на тренировочный сет и тестовом сет И на тренировочном и на тестовом сете мы можем иметь очень высокую точность. Что не означает что модель будет работать в продакшене, почему можно осуществить утечку тестового сета во время тюнинга гиперпараметров или во время кросс валидации. И вот у нас есть условная точность в 95 процентов а на деле модель в продакшене посыпется.
По этому НАСТОЯЩИЙ ТЕСТОВЫЙ СЕТ заказчик вообще тебе не должен предоставлять. Соответственно, что значит 80% процентов или 90 процентов %. Без продакшена? Без бизнеса который сформировал задачу, друг мне надо 75% например, вот данные дели их там тестовый тренировочный, что хочешь делай настоящий тестовый сет у меня и тебе я его не дам вообще, сделаешь больше будет тебе премия.

Почему так что такое Обучение модели (простенько поговорим нам тут больше и надо):
Есть входные данные X в какой то форме скажем матрица например.
Есть Цель назовем его y - что то распознать
Есть функция f - которая определяет НАСТОЯЩИЕ отношения между X и y (мы ее не найдем)
есть наша функция f_estimator - это наша модель которая сопоставит X и y.
и есть ошибка error назовем ее E.
Итого имеем y = f_estimate(X) + E
E в свою очередь делится на две. редуцируемую ошибку и не редуцируемую, так вот цель машинного обучения это МИНИМИЗАЦИЯ редуцируемую ошибки, а к не редуцируемой оно не имеет никакого отношения, Она остается. От чего она зависит? Например какой подсет от данных ты получил от общего.

Например, есть фотка витрины на которой лежат пачки йогуртов разных брендов (30-40).

У тебя там ниже куча условий, откуда ты знаешь, что все они будут всегда выполняться на все сто, какого влияние освещения на фото, и т.д. и т.д.

По этому как обещал разочарую. К ответу добавить особо нечего. Это бизнес задача приносит ли выгоду твоя модель или нет? И в какой интервале должна лежать точность чтобы это имело смысл вводить такую модель.

Какой тут критерий подойдет для аб тестирования?

frontjss, Вот здесь вычесление (одно из возможных) в примере используется приближенно нормальное распределение (что обычная практика для биноминальной выборки). https://www.itl.nist.gov/div898/handbook/prc/secti...

Ну и я подразумеваю что ваш комментарий-вопрос НЕ в контексте вашего основного вопроса. потому что там этого делать не нужно. Почитайте там есть расчет минимального размера для определенных интервалов уверенности и выведены формулы.

Почему pandas выдает предупреждение?

Алан Гибизов, Все строки. То есть он присваивает, всем строкам колонки id. значения из переменной id. Вот этот фрейм subsession это подсет другого датафрейма и предупреждение говорит что в том другом датафреме могут быть изменения.

При парсинге данных получаю пустой список?

Kirill_Zet, Я понял сейчас попытаюсь, вам объяснить. (Просто перед тем что бы объяснять надо убедится что все работает). Если вы в БРАУЗЕРЕ переходите на страничку, вы можете правой кнопкой мыши щелкнуть и нажать inspect. У вас справа появится окошко, с кодом этой страницы. Так вот по умолчанию, там будет и javascript объекты. Которые данный парсер парсить не может. Вам нужно там же в этом окошке шелкнуть на кнопочку настроек и перейдя в настройки поставить галочку disable javascript. Затем обновить странице и вы увидите она стала выглядеть по другому. Затем закрыть настройки и теперь код в окошке это тот же самый код который получит ваш парсер. И в нем можно найти удобно элементы которые искать потом методом find_all уже из python скрипта. Так надо всегда делать, а то будешь видеть в окошке кода страницы одно а ПАРСЕР совсем другое. Что насчет ютуб видео, не знаю я его смотреть не собираюсь.

При парсинге данных получаю пустой список?

Kirill_Zet, У вас сработал мой код?

Можно ли запросить в NASA данные?

a pylunar не удовлетворяет вашим требованиям? Это python библиотека по месту и времени предоставляет информацию о луне. Не знаю можно ли извлечь то что вам интересно астрономия не мое направление, не я бы глянул что там имеется.

Как авторизоваться на сайте?

drqqv, Я же не могу за вас авторизоваться, мне то тесты недоступны что там и как. Авторизация с помощью request делается вот так один из примеров я привел.

Как авторизоваться на сайте?

drqqv, https://requests.readthedocs.io/en/latest/user/aut...
вот от сюда пробуйте различные формы авторизации.

Почему выводит положительные числа?

1esman, Вы не тот файл запускаете это не результат исполнения кода который вы опубликовали.

Как цифру в строке преобразовать в числовой формат?

pitonessa,

result = {key: float(value) for key, value in d.items()}

затем
timedelta(**result)

Как цифру в строке преобразовать в числовой формат?

pitonessa, В рамках вашего кода ваш вопрос не имеет смысла, поскольку вы формируете строку. строка может содержать в себе только один тип данных str. Если вам нужен float для операций например умножить на 100.
{float(value) * 100} и все. Там он еще float, потом он будет отформатирован и станет частью строки.

Почему в получаемый при парсинге HTML-код страницы добавляются обратные слэши?

r.status_code что выдаст?