Какую архитектуру парсинга маркетплейса выбрать?

Александр Панков,
в указанном документе не нашел информации о том:
1. как было получено требование о 100к строк в секунду. Оно взято "с потолка"?
2. ответ на мой 4-й вопрос.

Где взять словарь частотности слов, которые пишут с ошибками чаще всего?

Юрий,
Не факт. Люди умудряются писать с ошибками даже в коротких словах. А в мобильных устройствах слова даже запоминаются с ошибками.

Какую архитектуру парсинга маркетплейса выбрать?

Александр Панков,
У меня вопросы по

По расчетам база должны быть порядка 450ГБ

1. 450 ГБ данных чего? Товаров, отзывов или всех моделей вместе взятых?

как вставлять по 100.000 строк в секнду

2. Строк чего и какого объёма в среднем? Отзывов или чего-то другого?
3. На основании чего было получено это требование? Какая взаимосвязь между 450 ГБ и 100к строк в секунду?
4.Требуется ли выполнить импорт данных разово или периодически, регулярно? Одинакового ли объёма, что и первоначально?

Как синхронизировать 2е папки на одном ПК?

не указана ОС

Обход передачи ложной информации от спутников GPS?

Вот тут похожий вопрос: Какое может быть альтернативное решение у GPS трекеров?

Как лучше организовать хранение данных?

SQLite самое то в качестве СУБД для старта.

Есть ли такая модель для word embedding?

Из написанного выше понял, что нужно сделать перевод на разных языках, но ,при этом, зная какие токены в исходном текста соответствует новым. Что-то наподобие этого?

Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.

Почему не подходит?

Как отправить сообщение в личку администратору канала если есть id закрытого телеграмм канала в tgBot на Go?

как определить из какого канала пришло сообщение?

в документации пакета искал ответ на вопрос?

Почему некоторые программисты на GO работают с бд на голом SQL без ORM?

Кстати, никто белку (squirrel) не упоминал - query builder.

Почему некоторые программисты на GO работают с бд на голом SQL без ORM?

calculator212,

в большинстве случаев легче написать самому запрос, чем ковыряться среди ORM

я не работал с ORM в Го. Только с расширением для SQL: github.com/jmoiron/sqlx

SQL хорош тем, что это ISO стандарт и его должны знать все, кто работает с СУБД, в отличие от ORM, где в каждом есть свои наименования и особенности реализации, которым стоит следовать, что привносит немало ограничений. Но есть и свои бонусы.

Почему некоторые программисты на GO работают с бд на голом SQL без ORM?

Ого, какой горячий вопрос!

Как скачать целую ветку форума 4pda и скормить нейросети?

по-моему, для GPT ответы автором стоит обрамлять XML тегами, скажем так:

@авторXYZ написал (в ответ к посту ABC):
<text> тут весь пост, включая разметку и код </text>

Поэтому имея HTML, можно однозначно знать кто есть кто, а не угадывать.

Как скачать целую ветку форума 4pda и скормить нейросети?

maksam07,

Автора вряд ли интересует первые 25 постов

в форуме обычно представлено множество ответов от "экспертов". И среди последних не факт, что существует консенсус в диагнозе проблемы и путей решения.
Если очередной "эксперт" напишет что-то толковое по делу вопроса на 51-й странице, его ответ попросту могут не заметить и не обратят на него внимания. А если сделать краткое подытоживание (summarization) мнений, то может оказаться, что мнение будет таки замечено и даже использовано в качестве решения. В случае с мобильными телефонами люди порой пробуют любые варианты, даже если есть малейший шанс удачи.

По секрету говоря, эффективнее брать "текстовую версию" форума

Согласен по предложению rPman по поводу фильтрации текста:

можешь сложнее структуру сообщения анализировать, выявляя цитирования и к примеру исключая их из текста (они занимают большую часть всего, дублируя многократно информацию).

Надо убедиться, что в текстовом формате возможно однозначно вычленить повторения.

Как скачать целую ветку форума 4pda и скормить нейросети?

Очевидно, что в данной задаче есть две подзадачи, как и указано в комментарии maksam07
Что было испробовано до сих пор?

Можно ли заставить LLama2 выполнять действия?

Это ограничение делать только в LLama2 или другие то же подходят?

Можно ли настроить comsumer для нескольких очередей с учётом приоритета?

Может такое случиться, что даже при поступлении в очередь по каплям это будет приводить к скоплениям в менее приоритетных очередях.

Как сделать MongoBD для удалённого доступа?

RUSSIA2024, нет, сначала сам попробуй. Не ленись и достигнешь в жизни многого.

Docker только для развертывания?

Речь о разработке в IDE и способности работать с файлами как бы внутри образа Docker? Тогда как описал Владислав Лысков выше.

Кому принадлежат авторские права на контент, сгенерированный ChatGPT?

Filipp42,
Чем обучать, не проще ли использовать готовую модель, такую как YaLM 100B?

Есть ли такая модель для word embedding?

И, кстати, не понял про языки. Нельзя ли привести какой-нибудь пример, типа "Мама мыла раму"