Задать вопрос
  • Какой оптимальный способ попасть в домашнюю сеть снаружи?

    @Desert-Eagle
    Новичок во всем
    Белый адрес - ОпенВПН на роутере - клиент ВПН извне, цепляетесь и работаете.
    Если проброс портов, то это стену ставить и настраивать корректно, потому что как только откроете порты на внешку, то китайцы будут стучаться нон-стоп.
    Ответ написан
    Комментировать
  • Компьютер с какими характеристика требуется для комфортного использования llama3.1:405b?

    @rPman
    Нужны видеокарты, суммарным объемом 1024гб. тут только специализированные, найти в продаже в странах под санкциями нереал, рынок пустой был уже в 2020-ом. Цены тут 5х от мировых.

    Квантизация тут тоже есть, vllm самая эффективная реализация, поэтому если тебе не нужно дообучать, а только исполнение, то пойдет 8bit квантизация.
    -------

    На процессоре с помощью llama.cpp, где-нибудь 10-20 секунд на токен (кстати повышается в несколько раз при batch запросах, когда тебе нужно обработать сразу много prompt-ов).

    Тебе нужна серверная материнка (хоть прошлого поколения, важна оперативная память), размер памяти минимум 256гб (4битная квантизация, потеряешь в качестве), лучше 512гб. К сожалению рынок тут только БУ со всеми вытекающими от сюда ценами и гарантиями.
    --------

    Можно запускать на нескольких десктопах!
    Год назад в llama.cpp портировали MPI реализацию, поддержка запуска на нескольких нодах (как пример нам было 8 raspberrypi и llama65b) поэтому приобрести 4 компьютера по 64-128гб не проблема, процессор не самый топовый, какой-нибудь AMD Ryzen 5 9600X/7600X (6-ядерный, лучшая производительность singlethread дешевле $300/$200), на сколько я понял, упирается все в сеть, поэтому сверху 10Gb ethernet адаптеры в придачу (они относительно дешевые).

    Каждый из компьютеров обойдется примерно в 100т.р. (можно ужаться и набрать по 70т.р. но там и процессоры по слабее и память по медленнее, но не значительно), и таких нужно 3-4 штуки.

    Сетевые карты 10G покупать парами, объединить в круг (это самый дешевый конфиг). Иначе, еще вложиться в свитч примерно такой же стоимости. Если честно я не нашел информации или каких то расчетов, которые скажут требования к сети, очень даже может быть что хватит встроенных в материнку и гигабитного свитча, речь идет об оптимальной утилизации процессора и памяти.
    --------

    Есть еще один экстремальный вариант, он не требует почти никаких особых затрат, любая даже самая слабая железка с любым количеством RAM (пусть условно 16гб-32гб будет, контекст хранить нужно) но с максимально быстрым ssd nvme диском (или несколькими в raid0). llama.cpp штатно умеет работать с моделями напрямую с диска (mlock режим), будет считывать всю модель по одному разу на каждый токен.

    Например 4 ssd диска (проходной apaser за 2.5т.р. но лучше что то по быстрее с pci-e 4.0) на скорости 2гбайта/с (само собой есть быстрее) с соответствующими pci-e контроллерами обойдутся в считанные 16-25т.р., полученный 'монстр' будет считывать всю модель с 8битной квантизацией за 30-15 секунд, и уже вопрос, успеет ли процессор на такой скорости модель считать.

    p.s. осторожно, ssd на 'чтение' тоже не бесплатно работает, это тоже изнашивает ресурс, только не так быстро как запись, может в тысячу раз медленнее, может в десятки тысяч.
    Ответ написан
    6 комментариев
  • Возможно ли написать свой chatGPT и как?

    @rPman
    Для начала, llm-ки, начинают показывать свойства ИИ (т.е. начинают строить внутри себя модель, которая уже начинает себя как то вести а не просто синтаксически и даже логически обоснованный бредогенератор, т.е. хуже gpt35 если что) - это 10^26 flops вычислений, оценка приблизительная, когда читал про исследования на каких величинах это начинается, погрешность была на пару порядков. Мало того, десктопное железо тут не подходит, там требуется огроменное количество оперативной памяти GPU (про CPU даже не заикайся, на нем даже просто запуск - садомазохизм).

    Посчитаю за тебя - одна современная видеокарта 4090 дает 80Тфлопс (даже пусть 100 но так неверно, потому что реалии на пару порядков хуже но проигнорируем это) это 10^14 операций в секунду, т.е. только чтобы однократно обучить одну llm (а это обычно делают много раз, меняя гиперпараметры и обучающие данные) тебе потребуется 10^(26-14) секунд или 10^12 секунд или 31709 лет на одной видеокарте... приобретая чуть больше видеокарт, процесс можно ускорить почти линейно (да там начинаются проблемы уже на тысячах gpu, но они решаются спец-железом, спец-алгоритмами и спец-специалистами, и главное первое и последнее с рынка как коровой слизали крупные компании)... к сожалению эта наиважнейшая и самая крутая технология нашего времени требует минимально для старта десятки миллионов баксов вложений а лучше сотни.

    Но если все же хочешь взять готовое, разобраться и предоставить это как ваша работа то пожалуйста, гугл: gpt llm training from scratch detailed guide
    первая же ссылка - https://youssefh.substack.com/p/training-gpt-2-fro...
    Ответ написан
    2 комментария
  • Какая нейросеть умеет в веб-дизайн?

    @rPman
    Адекватных и универсальных мультимодальных ИИ (с модальностью - изображения) на текущий момент не существует.

    С очень большой натяжкой можно считать топовые openai/claude/google/(может китайский qwen но они совсем внизу), с поддержкой изображений подходящими, в интернете даже гуглятся тестовые helloworld, но проблема в том что когда доходишь до реального использования, сил на то чтобы объяснить ИИ что тебе нужно и исправлять его ошибки уходит БОЛЬШЕ чем если бы ты делал это сам.

    ИИ на текущий момент подходит как удобный помощник, делать что-либо что ты сам умеешь прекрасно делать, понимаешь как это понимает ИИ (мы в голове строим модель знаний нашего собеседника, чтобы не скатываться в объяснения алфавита, так вот то же самое и с ИИ, мы должны понимать что они понимают и до какой степени) и используешь его для ускорения./. плюс как замена поисковика (только не по всему интернету, а в пределах его знаний, очень мало какие продукты дают адекватный поиск в интернете).
    Ответ написан
    Комментировать
  • Сборка пк для работы в Autocad?

    @rPman
    https://www.pugetsystems.com/solutions/cad-worksta...

    Быстрый процессор в single thread (смотреть сверху вниз до приемлемой цены) - много ядер не нужно, на этом можно сэкономить (обычно это топовые модели и техпроцесс но урезанные для маркетинга или из-за ошибок производства).

    Минимальная видеокарта, для 2D она как я понимаю не используется, ну а для 3D брать дискретную по деньгам.
    For AutoCAD, the video card is what handles displaying the 2D and 3D models on the screen. Only 3D models require anything more than a basic GPU, though, so if you will only be working with 2D models then you are better off saving money on the GPU and putting that money towards a faster CPU, SSD, or more RAM.


    Настоятельно рекомендую 16Gb ram, лучше больше, особенно если будешь работать одновременно с несколькими документами. Лет 6 назад хватало 8Гб, но сейчас даже в рекомендациях стоит 16. Гоняться за топовыми решениями (DDR5 и ождаемый DDR6) бессмысленно, DDR4 поддержка уверено наполнена доступными решениями.

    Настоятельно рекомендую SSD, причем NVME тот что pcie а не SATA, выбирать топовый не нужно, даже дешевые модели выдают сотни мегабайт в секунду записи, глупо ограничивать свою скорость тормозными SATA (помним про бакапы! ssd-шники не про надежность).

    p.s. по деньгам скорее всего останется выбирать AMD Ryzen 5 9600X (до $300) и отсюда уже выбирай материнку и все остальное, сравнимый интель будет дороже процентов на 30, но если выбирать ноутбук то значит речь о мобильности и энергопотреблении, а тут интел пока вне конкуренции (ну ок последние маки хороши, но не для autocad).
    Ответ написан
    3 комментария
  • Не доступен формат файла на мак "Обмен персональной информацией (.p12)"?

    @dronmaxman
    VoIP Administrator
    В macOS есть встроенная утилита openssl, попробуй с помощью нее сначала экспортировать в cer и потом конвертировать в p12.

    openssl pkcs12 -export -out certificate.p12 -in certificate.cer -nokeys
    Ответ написан
    Комментировать
  • Почему отсутствует OpenVPN на роутере keenetic air?

    @Drno
    Потому что его надо установить - Настройки - набор компонентов, добавьте нужное
    Ответ написан
    1 комментарий
  • Как найти причину почему отказал Wireguard VPN?

    CityCat4
    @CityCat4 Куратор тега VPN
    Жил да был черный кот за углом...
    Потому что блокируют :) Внезапно, да?
    Ответ написан
    4 комментария
  • Как разработать систему идентификации одного и того же автомобиля на различных сайтах объявлений?

    @DDV23
    Биокибернетик
    Напишите фильтрацию по ключевым атрибутам и сужайте количество потенциальных совпадений. Это не 100% но вполне реально.
    Берём основные параметры - марка, модель, год выпуска, пробег, цвет, тип кузова, и начинаем фильтровать и постепенно сужаем круг. Тестируем - это займет всего немного времени, но Вы успеете задуматься о том, что пора бы прикупить краску для волос.
    Ответ написан
    Комментировать
  • Есть ли способ отключить рекламу на уровне роутера?

    @Drno
    Скорее всего нет. Реклама на ютубе идет с того же домена, что и сами видео... их нельзя срезать на уровне DNS.
    только блокираторами в браузере.
    купите прем, там же копейки вроде...
    Ответ написан
  • Возможно ли математически поставить под сомнение принцип случайности при раздаче карт в дураке на телефоне?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Самое сложное что в этой задачае - это сбор датасета. Тебе нужно аккуратно записывать
    сколько людей играет. И кто сдает какие карты. И после того как ты соберешь хотя-б несколько
    сотен сеансов игр, можно будет гонять всякие анализы по этому датасету и искать зависимости.

    Без этих данных - очень сложно строить гипотезы.
    Ответ написан
    Комментировать
  • Как эффективнее всего вести создание продукта?

    @Refguser
    Решения для бизнеса: корп.сайты, ИМ, боты и пр.
    По п2. Правильнее сказать не генподрядчик, а проджект-менеджер. Да, на больших проектах без него не обойтись., но он уже есть в составе команд (компаний) занимающихся большими проектами. Поэтому отдельно его искать - ну так себе идея. Хотя бы уже по уровню рисков, связанных со сроками и финансов.

    Один фрилансер тоже может это всё потянуть (он же может передавать часть задач на аутсорц, партнёрам), но для такого большого проекта это не целесообразно и рисков больше, чем работа с компанией.

    Ида. Нужно понимать, что большинство этих компаний не имеют в штате своих специалистов и работают с фрилансерами :). Это ни хорошо ни плохо с точки зрения разработки. Но для заказчика хорошо в плане ответственности и договорённостей.

    И я бы не ставил задачу сразу "под ключ". Поэтапно будет лучше. ИМХО.
    Ответ написан
    1 комментарий
  • Какое можно использовать клиент-серверное приложение видеоконференции p2p?

    @rPman
    jitsi meet - не p2p но серверную инфраструктуру запускают у себя. Между клиентами связь прямая. На основе webrtc
    Ответ написан
    1 комментарий
  • Как сгенерировать видео для подтверждение локации?

    @DMostov
    В июле 2024 нет такой нейросети.
    Ищите в интернете шаблоны нужных документов, с помощью графических редакторов исправляйте кастомные значения на необходимые, печатайте на цветном принтере при наличии печатей. Снимайте видео.

    Всегда держите в уме, что вы нарушаете определенные нормативы и скорей всего закон в стране пребывания и осуществления подложной деятельности.

    PS не является рекомендацией к действию или инструкцией. Сообщение носит ознакомительный характер. Автор не несет ответственности за деяния третьих лиц в правовом поле любых стран.
    Ответ написан
    Комментировать
  • Насколько целесообразно использовать ленточную схд для продакшена?

    @SunTechnik
    Если Вы посмотрите стоимость современного LTO драйва (LTO-8 или LTO-9), то диски Вам покажутся и не такими дорогими...
    Да и сами картриджи далеко не бесплатные..

    Ленты нужны если:
    - это требование регулятора.
    -требуется хранения архивов больше нескольких лет.
    -большие объёмы, к которым обращения крайне редко..
    -требуется организовать удалённое холодное хранение данных.

    При хранении данных на лента Вы не сможете сразу приступить к их обработке, сначала надо будет их восстановить на диск. Оцените время восстановления..

    Данные надо будет на лентах дублировать, что бы при повреждения картриджа не потерять данные.
    В целом, если у Вас возникают такие вопросы, ленты Вам, скорее не нужны.

    Хранение на лента может быть будет дешевле, если Вам надо хранить сотни терабайт холодных данных.
    Ответ написан
    Комментировать
  • Каким образом в Zabbix можно создать дашборд с топом портов коммутаторов по загрузке?

    ky0
    @ky0
    Миллиардер, филантроп, патологический лгун
    Заббикс не силён в дашбордах. Если хочется чего-то сложного и/или красивого - лучше подключить Заббикс как датасорс к Графане и в ней сделать.
    Ответ написан
    2 комментария
  • Почему скорость VPN на роутере низкая, а на компьютере через VPN нормальная?

    @Drno
    Потому что нехватает производительности ЦП роутера для шифрования. надо играться с настройками шифрования опенВПН
    В целом тплинк как и Длин и осталоьное домашнее- это туфтеть.

    лучше тогда уж купить кинетик. он функциональнее
    Ответ написан
  • Какая ширина канала нужна для видеохостинга?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Скорее всего ширина канала видеохостинга - это метафора. Тоесть ее конечно можно
    посчитать если у нас есть 2 хоста в сети. Клиент и сервер. В случае с YouTube, Netflix
    у нас есть много клиентов и есть много S3/BlobStorage хостов которые децентрализованы
    географически и ваш софт выбирает то хранилище которое ближе к вам. Ну ближе не в смысле
    километров а в смысле througtput.
    Ответ написан
    Комментировать
  • Как объединить экраны в удаленных друг от друга помещениях?

    @Drno
    Посмотрите ПО Xibo. как раз предназначено для такого. Цифровые вывески итд
    Ответ написан
    Комментировать
  • UPD: Как подключить GSM модем с последовательным портом к компьютеру через сетевой интерфейс?

    IvanU7n
    @IvanU7n
    nothing interesting here
    такое невозможно, т.к. я сильно сомневаюсь, что сетевуха в принципе даёт доступ к своей аналоговой части, да и напряжение там отличное от 5/3,5 вольт последовательного порта

    на модеме есть USB, вот через него и подключайтесь, а если сильно хочется RS232, то есть USB-донглы и с ним

    ПЛЮС: то, что есть нужный кабель, не означает что оно должно работать, ибо Ethernet и RS232 несовместимы электрически, а на всяких сетевых железках RJ45 используется в качестве консольного порта видимо из-за того, что таких портов у них навалом
    Ответ написан
    Комментировать