Мне перед записью в базу нужно проверить уникальность данных, есть мысль хранить hash где то на стороне и проверять перед записью, какой вариант лучше подойдёт для этой задачи, hashей за год будет примерно 4 320 000 000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEТут видно, что nginx работает от root. Наверно, без использования Docker.
nginx 1400 root 7u IPv4 27424 0t0 TCP *:http (LISTEN)
nginx 1494 systemd-resolve 7u IPv4 27424 0t0 TCP *:http (LISTEN)
nginx 1495 systemd-resolve 7u IPv4 27424 0t0 TCP *:http (LISTEN)
nginx 1496 systemd-resolve 7u IPv4 27424 0t0 TCP *:http (LISTEN)
nginx 1497 systemd-resolve 7u IPv4 27424 0t0 TCP *:http (LISTEN)
Собирался использовать в качестве БД PostgreSQL или MySQL, а вот с выбором фреймворков и других компонентов возникают проблемы.Вот и замечательно. Обычно берут одну из этих СУБД, чаще первую.
Если вы имеете в виду подготовительные этапы в виде декомпозиции, ТЗ, то эти этапы собраны в упрощенном виде.Надо продолжать собирать требования и на их основе искать решения.
.zst 8 гиговнадо убедиться, что будет достаточно места для распаковки. Потому что если не хватит, ОС будет ругаться. Очень вероятно, что этот адский архив займет куда больше места, чем рассчитывалось.
Соответственно, узнать длину очереди в таком состоянии воркер не может.Обработчики очередей не должны заботиться о длине очереди. Это не их ответственность. Они находятся в постоянной готовности обработать следующую задачу.
Плюс, воркер в процессе собирает статистику, и должен как-то отдать её в конце работы. Я пока что решил это таким способом: напихиваю в конец очереди N (по числу воркеров) специальных заданий останова - воркер получает такое задание, отключается от очереди и делает всё необходимое.статистику можно сохранять в СУБД, отправлять в какую-либо отдельную очередь "отчеты" и пр. (в общем обмениваться через IPC).
Word embedding — (векторное) представление слова
docker-compose.yml
в environment:
- "cluster.routing.allocation.disk.watermark.low=90%"
- "cluster.routing.allocation.disk.watermark.high=95%"
- "cluster.routing.allocation.disk.watermark.flood_stage=97%"
(тег кода портит отступы)clickhouse-server
не будет резолвиться. Тогда нужно указывать просто localhost
. NAME:
ngrok - tunnel local ports to public URLs and inspect traffic
USAGE:
ngrok [command] [flags]
DESCRIPTION:
ngrok exposes local networked services behinds NATs and firewalls to the
public internet over a secure tunnel. Share local websites, build/test
webhook consumers and self-host personal services.
Detailed help for each command is available with 'ngrok help <command>'.
Open http://localhost:4040 for ngrok's web interface to inspect traffic.
Author:
ngrok - <support@ngrok.com>
TERMS OF SERVICE: https://ngrok.com/tos
EXAMPLES:
ngrok http 80 # secure public URL for port 80 web server
ngrok http --domain baz.ngrok.dev 8080 # port 8080 available at baz.ngrok.dev
ngrok http foo.dev:80 # tunnel to host:port instead of localhost
ngrok http https://localhost # expose a local https server
ngrok tcp 22 # tunnel arbitrary TCP traffic to port 22
ngrok tls --domain=foo.com 443 # TLS traffic for foo.com to port 443
ngrok start foo bar baz # start tunnels from the configuration file
COMMANDS:
api use ngrok agent as an api client
completion generates shell completion code for bash or zsh
config update or migrate ngrok's configuration file
credits prints author and licensing information
diagnose diagnose connection issues
help Help about any command
http start an HTTP tunnel
service run and control an ngrok service on a target operating system
start start tunnels by name from the configuration file
tcp start a TCP tunnel
tls start a TLS tunnel
tunnel start a tunnel for use with a tunnel-group backend
update update ngrok to the latest version
version print the version string
OPTIONS:
--config strings path to config files; they are merged if multiple
-h, --help help for ngrok
--metadata string opaque user-defined metadata for the tunnel session
-v, --version version for ngrok
asyncio.Semaphore
для ограничения одновременного кол-ва запросов. Но мне интересно проверить, может ли "AI" упростить это.