rPman

Если вам нужно обеспечить доступ к сервису в локальной сети по http извне, но защитить трафик каким-либо шифрованием, то более чем достаточно обычного перенаправления портов ssh, на роутере или на машине в локальной сети запускаем ssh сервер с разрешенным перенаправлением портов (по умолчанию это разрешено AllowTcpForwarding Yes), а затем в сети, откуда необходим доступ, нужно запустить:

ssh user@host -L ip_адрес_локальной_машины:port_локальной_машины:ip_адрес_машины_с_http_сервисом:port_этого_сервиса

кстати можно и наоборот, особенно это актуально, если подключения из вне до целевого сервиса никак не доступны, можно ssh сервер поднять на клиенте (откуда хотим подключаться) а она из машин в локальной сети где целевой сервис стоит, должна запустить ssh клиент:

ssh user@host -R ip_адрес_в_локальной_сети_целевого_сервиса:port_целевого_сервиса:ip_адрес_в_локальной_сети_клиента:port_в_локальной_сети_клиента

в обоих случаях сервис станет доступен из локальной сети клиента по адресу: http://ip_адрес_в_локальной_сети_клиента:port_в_ло...

Точнее по тому же протоколу, по которому он работает в этой локальной сети.

ip_адрес_в_локальной_сети можно не указывать, если он 127.0.0.1, так же порт по которому ssh будет слушать подключение, если будет ниже 4000 то ssh должен быть запущен под root

upd. если нужно именно https протокол, то нужно запускать http сервер с поддержкой ssl сертификатов (обычно в роутерах этого нет) в режиме проксирования (например nginx)

Настоятельно рекомендую генерировать веб страницу на сервере, чистить от визуального мусора (достаточно простого инжекта на страницу, поиск видимых элементов с текстами и чистка от лишних пробелов), плюс ссылки a href и элементы с onclick/onmousedown ивентами... и editbox/textarea (визуально как то их выделяй как просто объект, при выборе которого на весь экран раскроется редактор, и помним что нужна кнопка enter и esc)

На маленьком экране вся визуальщина абсолютно бесполезна (достаточно выделять в новую строку заголовки и списки). Скорости слабого железа не будет хватать для адекватного парсинга даже простых сайтов.

Потребуется придумать какой-то формат передачи данных об обработанных страницах, и настоятельно рекомендую не использовать json... берите бинарные форматы типа protobuf, удобно, просто, полнофункционально

Зато пользоваться результатом можно будет вполне почти на всех сайтах.

с большими таблицами (80 тыс. строк+)

in memory и/или sql база данных + любимый язык программирования

Любой, способный к минимальному программированию, как только начинает работать с данными не в excel, больше назад не возвращается (точнее остается какое то время для привычной визуализации), очень часто задачи, которые в excel решаются кошмарным нагромождением формул, на простом языке программирования и массивах в памяти (до сотни тысяч - миллионов записей, но можно ведь и индексы самому пилить) выглядят как одностраничные скриптики, которые пишутся за десяток другой минут и главное могут поддерживаться другими без проблем.

p.s. у майкрософта есть в поставке оффиса приложение access (GUI к sql базе данных на файлах .mdb), если бы майкрософт не жевали сопли и не жаждали всех денег на свете, sqlite даже бы не появился (это не так, sqlite появился по другим причинам но занял именно ту самую нишу, которую можно было бы ожидать и от .mdb), но увы...

Ищите утилиты коммандной строки (тот же ffmpeg, он кстати и тишину умеет мониторить), оформить их в скрипт из 3 строчек (для имён файлов) и запускать штатным task scheduler

Нет, это совершенно не имеет смысла, не изменится ничего связанного с:

бывает что панель над системой охлаждения горяченькая, и вызывает дискомфорт,

Так как это уже отведенное тепло, тут нужна система внешнего охлаждения, типа подставки.

60 градусов процессора в нагрузке это идеальное состояние!

Если вам зачем то нужен разгон, то это ещё более бессмысленное действие, во даже а идеальном случае производительность изменится на считанные проценты а синтетических тестах но не реальных задачи

Cuda это язык верхнего уровня, компилируемый в байт-код видео процессора. Видеокодек nvenc это проприетарный кодек, байт-код которого поставляется с bios видеокарты (и/или с драйверами), т.е. никакого специфического железа там не должно быть, плюс там много что огорожено патентами, я помню читал в ~2011г. когда в ffmpeg пилили поддержку opencl... В общем лучи поноса отправлять nvidia или шире, группе компаний (там все топы типа майкрософта, оракла и т.п.), они же патенты на всякие видеокодеки держат.

Т.е. софт в принципе может существовать, но при попытке на нем заработать придут 'бандиты а законе' и сделают атата

Если на virtualbox использовался метод загрузки EFI, то одного копирования диска не достаточно, нужно восстанавливать загрузчик уже на новой машине, делать это нужно с помощью консоли восстановления (есть на установочном диске win), который достаточно подключить к новой машине.

Syncthing, в любую сторону, любая платформа

Для iphone и не только рекомендую разработать мобильное веб приложение, это будет более кроссплатформенное решение чем пытаться выбирать какой то единый фреймворк, и главное, mac иметь не требуется.

Нет никаких весомых причин делать приложение вместо веб, практически весь функционал доступен, включая офлайн режим, за исключением продвинутых средств кражи информации

Использование l2tp на роутере более менее безопасно. Так как практически весь интернет зашифрованный.

Но есть рекомендация - на машине переключить встроенный в windows фаервол (смотреть настройки - безопасность) в режим - публичная сеть (по умолчанию локальная сеть в которой находится компьютер и роутер это домашная или сеть предприятия, хз как теперь это называется в windows, они переименовывают эти термины постоянно), потому что владелец vpn сервера будет иметь доступ к вашей локальной сети, а приложения в локальной сети обычно менее защищены, например те же вебкамеры, по умолчанию предоставляют не авторизованный доступ к видеопотоку.

Вообще, правильно задавать вопрос - что может сделать плохого со мной мой провайдер интернета. В случае с VPN таковым становится уже владелец VPN.

Пример атаки (многие браузеры уже защищены, но как то топорно, кажется просто списком популярных сервисов по умолчанию но можно принудительно включить https-везде) - при первом заходе на сервис, без указания http/https будет использован http, обычно современные веб приложения тут же перенаправляют запрос на https версию сайта, но провайдер может отключить это, подменив http трафик (он не шифрован) и атакуя пользователя, подменяя содержимое веб сайта и читая всю информацию.

а в kvm не отваливается?
на сколько я знаю, у oracle проброс usb сделан ну очень тяп ляп, и работает это с очень небольшим количеством устройств (чудо что вообще работает)

в kvm же можно как пробросить все устройство (причем не usb а сразу serial), зачем это делать через usb посредника?

ну и на засыпку, kvm позволяет пробрасывать целый usb контроллер, это исключает многие косяки, которые могут наложиться из-за особенностей реализации портов в windows и linux, даже можно в ядре в загрузчике попросить не трогать устройство (т.е. оно даже не будет инициализировано до запуска виртуальной машины), такой подход должен быть самым надежным

Миллиард цветов это маркетинг, единственное на что в сравнении можно было бы обратить внимание это повышенная яркость... но цвета и яркость это вкусовщина, которую оценить можно только в живую.

p.s. я бы 'по боялся' бы покупать монитор с рук, да и ozon для меня это читай барахолка с частниками, 'стоящими у дороги с товарами на земле на тряпочках', ни в том ни в другом случае у вас никаких гарантий, мало того, продавцы финансово заинтересованы смошенничать.

Я пробовал CoinGecko, но 30 запросов в минуту для полных данных не хвататет(даже с batch x250 на rest запрос), необходимо парсить +- 3000 торговых пар.

потому что нужно забирать данные из потока событий, обычно это websocket канал, подписываешься на события торговли и изменений в стакане и в реальном времени получаешь картину.

https://developers.binance.com/docs/binance-spot-a...
https://www.gate.com/docs/developers/apiv4/ws/en/
https://docs.cdp.coinbase.com/exchange/websocket-f...

А что говорят типичные утилиты теста производительности типа CrystalDiskMark? Только выбирай размер файла по больше, например 10-30гб.

Проводник windows это самое не эффективное средство для работы с файлами (правда гуглится что с ssd можно на нем добиться порядка 1гб/с, но мне кажется тут еще процессор и чипсет материнки влияет).

Есть утилиты типа FastCopy, которые отключают буфер ОС, и позволяют настроить многопоточное копирование (для ssd это может быть эффективнее, но нужны тесты). Да хотя бы far или total commander используй.

Теоретическая производительности TLC SSD дисков
- заявленная скорость записи будет только пока кеш диска не переполнен (у твоего диска он порядка 110гб и это при полностью свободном диске, при заполнении он будет уменьшаться)
- при заполнении кеша скорость должна упасть в 6-10 раз (а на дешевых контроллерах и больше), так как контроллеру приходится паралельно с записями читать, писать, и еще и проверять записанное (при записи в 3-битную память надежность сильно падает)
- когда копируешь на скорости в гигабайт в секунду, размер буфера очень сильно влияет на нагрузку на процессор, а еще есть шина памяти (особенно когда работает что то типа виндового проводника, которые даже рядом не пытается dma использовать, копирует данные туда сюда), в общем если у тебя не топове железо (смотреть на single thread performance) то пол гигабайта это вроде бы норм.

p.s. Прежде чем принимать решение о медленном диске, я бы сначала (осторожно, это уничтожит данные на диске), прямо после покупки, из linux (можно и windows, есть что то типа windd) с помощью dd копировал бы сотни гиагабайт на диск из /dev/zero или /dev/urandom (осторожно, он медленный, лучше по кругу гигабайтный файл из tmpfs), перебирая разные опции размера куска копирования, без создания файловой системы, прямо на диск с 0 сектора.

Еще есть момент, по уму это давно уже автоматически решается, но все ещё встречается, если при создании раздела, адрес первого сектора был выбран неправильно (по середине реального кластера на диске, напомню он может быть 4-8-16кб а системе сообщает что 512байт) то при чтении/записи сектора на такой диск будет происходить два чтения/записи реальных сектора на диске, это роняет скорость в разы. В linux я вообще, при использовании один-раздел-на-диске, не создаю таблицы разделов а размещаю файловую систему прямо с 0 сектора, да и размер кластера подбираю под средний размер файла/кусок чтения данных, например если собираюсь хранить стогигабайтовые файлы, можно размер кластера сделать сотни килобайт или даже мегабайт (с осторожностью, тут лучше тесты делать). В windows лучше использовать не ntfs а exfat, и проводить эксприменты с разными размерами кластера. Ну и конечно, отключать запись времени последнего доступа к файлам (этот абсурд нужен двум с половиной калекам в мире, но по умолчанию включен у всех), когда даже при чтении файла, на диск идет запись метаинформации об этом факте.

все ответили совершенно верно, но есть нюанс, веб приложение может быть специально так написано для работы offline, что бы логировать действия пользователя и при появлении интернета отправлять информацию об этом на сервер, и в случае с гуглом это более чем вероятно, их системы аналитики очень мощные

плюс, эту информацию может делать сам браузер (гугл или майкрософт), это еще один мощнейший инструмент слежки

200 изображений и оно работает? На генерируй по больше изображений в датасете, поворотами и добавлением смазанного изображения и шумами алгоритмов сжатия видео, а так же наложениями нескольких объектов друг на друга. Еще можно собрать датасет на основе своих видео (твоя камера, твое освещение), просто вырезая из своих кадров box-ы распознанных элементов, собирать из них обучающую выборку (естественно модифицируя их как выше показано) и повторно тюнить модель.

Делай несколько снимков с чуть чуть сдвинутой камерой (например сдвинуто в сторону или повернута, можно программно делать) у всех алгоритмов искусственного зрения глюки обычно эпизодические, это видно на видео, внезапно пропадают детекции для случайных объектов, но на следующем кадре уже есть.

p.s. Есть алгоритмы сегментации (facebook SAM) которые просто выделяют объекты по контурам, эти алгоритмы можно совместить, распознавая сначала контуры, а затем, выделяя изображение с помощью этого контура (там изображение - маска), уже распозновай сам объект, так алгоритм будет работать с идеальными изображениями, на которых обучался.

две причины
- больше ядер, включая специализированные (для матричных операций - тензорные ядра)
- быстрее память и главное, она 'ближе' к процессору и больше 'каналов' (6 - 12 против 2-4 у x86 архитектуры)

Если что, пока веса модели влезают в кеш L3 процессора (он сейчас десятки мегабайт), то процессор внезапно работает сравнимо по скорости с gpu, но первая буква в LLM означает Large (большие) и речь идет о миллиардах параметров, т.е. гигабайтах оперативной памяти, что значит - главный параметр видеокарты для инференса LLM - это ОБЪЕМ видеопамяти. Скорость и количество ядер видеопроцессора тоже важны но дальше вступает жадность nvidia, и там либо все ограничено, либо кастрировано,.. в общем gtx4060ti будет чуть чуть медленнее 5060ti с тем же объемом видеопамяти, на грани погрешности (а там и тензорных ядер на треть выше и память ddr6 против ddr7 и т.п.).

Скорость шины pci-e почти совсем не влияет (есть алгоритмы, которые постоянно туда сюда гоняют веса, у таких скорость шины будет критична, но это когда ты хочешь запустить модели с весами превышающими объем видеокарты, типа deepseak на 600b параметров на 24gb, ужимая ее 1битной квантизацией что бы получить 5tps)

Большее количество памяти в одной видеокарте лучше чем несколько видеокарт по меньше (объединить их вычислительные мощности редко когда удается эффективно) но когда смотришь на цены видеокарт с 24гб и 16гб (примерно в три раза дороже) начинаешь чесать репу... если веса и контекстное окно влезают в vram то нет проблем с несколькими gpu (там уже проблема с материнкой)

p.s. у китайцев есть решения gtx4090 с перепаянной памятью на 48гб, специально для нейронок делали

Создай свой браузер, я серьезно.

Есть компоненты, которые по факту браузерный движок, без интерфейсной обвязки, их можно использовать в своей программе, дополнить интерфейсом и пользоваться

Вот простейший пример на базе webkit (используется safari), устарел, слабо поддерживается, но работает (youtube точно в нем открывался). Так как это будет ваш браузер, в нем не будет ничего связанного с кражей вашей информации, за исключением уязвимостей, но это уже другой вопрос.