Михаил Р.

1. Хранить в корне.
2. The ultimate guide to robots.txt, XML-формат файла Sitemap.

И как должен выглядеть robots.txt файл и sitemap.xml

Гугл.

И есть какое-либо ограничение на размер этих файлов

Есть для sitemap - гугл.

Первый, что лучше на сегодняшний день, веб или desktop.

Если в рамках соц.сети - смотрите на успешных конкурентов, а у них:
1. Веб: SPA/SSR (React/Vue).
2. Мобильное приложение (Kotlin/Swift или Flutter).

И второй вопрос, про то, что выбрать для пользовательского интерфейса: flet, HTML/CSS/JS, QT.

- Или React/Vue + SCSS + (Django + DRF или FastAPI).
- Или (если нет знаний современного фронта) то vanilla JS + SCSS + все это рендерить на бэке (Django или FastAPI) и отдавать посетителю готовые страницы.

Собираюсь разработать пет-проект

Пет-проект с целью чего? Если найти работу, то QT/Flet/Desktop + Python = экзотика в мире заказчика (в вакансиях или на фрилансе) вообще, и экзотика*100 в мире заказчика в соц.сетях и подобных проектах.

будет намного производительней

Python не про производительность.

Заметил, что за последние 2 месяца резко выросла нагрузка на сайт

Если источники трафика на сайт не изменялись - 100% боты.

основные посетители это Android 13, которые находятся на сайте от 0 до 20 секунд

Новичков видно издалека.

Я так понимаю - это могут спокойно делать конкуренты, чтобы понизить сайт в поисковой выдаче?

Не обязательно, но вполне вероятно.

Как это можно ограничить?

Вариантов много (а также разные cdn и капчи, вроде cloudflare, akamai, recaptcha и smartcaptcha), но все это действует лишь на простых и частично, на средних ботов.

Больше похоже на БУ по видом новых / почти новых, так часто с серверами делают. Ну и нераспроданные остатки со складов никто не отменял (маловероятно, но возможно).

По идее, первый optimization будет перезаписан вторым optimization=false. Либо удалите второй блок, либо замените его на такой:

const CssMinimizerPlugin = require("css-minimizer-webpack-plugin");
const TerserPlugin = require("terser-webpack-plugin");

optimization: {
    minimize: true,
    minimizer: [
        new TerserPlugin({
            terserOptions: {
                mangle: true,
                keep_classnames: true,
                keep_fnames: false,
            },
        }),
        new CssMinimizerPlugin(),
    ],
    splitChunks: {
       chunks: 'all',
    },
},

Я ожидаю что в бандле будут переименованы хотя бы локальные переменные, чтобы как-то защитить код.

Минимизация !== обфускация, код может быть изменен, но не с целью "защиты".

Как вариант (добавить проверок и исключений):

ERRORS_FILE = 'error.json'
IMAGES = 'error_images'

error_data = {}

with open(ERRORS_FILE, 'r', encoding='utf-8') as f:
    error_data = json.load(f)

# Код бота:

error_code = call.data
error_description = error_data.get(error_code)

# bot.send_message(call.message.chat.id, "Ошибка 501")
bot.send_message(call.message.chat.id, f"Ошибка {error_code}: {error_description}")

# photo = open('501.jpg', 'rb')
image_path = os.path.join(IMAGES, f"{error_code}.jpg")
with open(image_path, 'rb') as photo:
    bot.send_photo(call.message.chat.id, photo, caption=error_code)

Так же, я бы подключал json файл 1 раз при запуске бота, а не каждый раз при нажатие его кнопок.

Можно ли менять значения импортируемого файла после билда проекта?

Нельзя, нужно пересобрать проект.

Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку

Никак, bs4 как и requests лишь получают то, что отдал сервер при первом ответе. Вы можете попробовать исследовать то, какой запрос на сервер отправляется, при нажатие этой кнопки, а затем отправлять запросы из bs4 напрямую к этому серверу. А вообще, для таких задач (нажатие кнопок на сайте итп), используйте Selenium или CDP.

так как я учусь пасингу в bs4

А чего там учить?

т.е. чтобы например ctrl+s нажал - и запись полностью сохранилась и опубликовалась

Оно так и работает (раскладка должна быть на английском), но запись должна быть изменена, в ином случае ничего не произойдет, рекомендую почитать:
- Use keyboard shortcuts (Block Editor).
- Use keyboard shortcuts (Classic Editor).

Что бы горячие клавиши стали доступны при работе с комментариями, необходимо перейти в Пользователи -> Профиль -> Включить "Горячие клавиши".

А я не хочу постоянно закидывать код на сервер что бы протестировать работает он или нет.

Сурово!

Как совместить локальную разработку и прием данных с внешнего сервиса?

Как вариант, можно использовать обратный прокси по типу ngrok:
1. Регаемся в ngrok и качаем их приложение.
2. Указываем в ngrok, какой порт на локалке слушать, пусть будет :8080 ngrok http http://localhost:8080.
3. Из консоли п2. копируем url обратного прокси, он будет похож на что то вроде https://9abc0-11-22-333-44.ngrok-free.app.
4. Поднимаем свое приложение-сервер локально на порту из п2.
5. В api сервиса указываем адрес из п3, например: https://9abc0-11-22-333-44.ngrok-free.app, с роутами из вашего приложения - это будет выглядеть примерно так:

https://9abc0-11-22-333-44.ngrok-free.app/api/route-name

.

В результате, внешний api сервис сможет отправить данные в ваше приложение, которое запущенно у вас локально.

P.S. запятые уже включены в тариф, используйте их иногда :)