• Что делать, если на Маке не закрывается VM VitualBox?

    @Drno
    Просто закройте принудительно. Или перезагрузитест
    Ответ написан
    Комментировать
  • Что выбрать за архитектуру LLM для обучения с нуля?

    @rPman
    У тебя ошибка в постановке цели - 'обучить с нуля'.

    llama3 обучалась на 15Тера-токенах, это примерно на три порядка больше чем в твоих гигабайтах, этого катастрофически мало, для того что бы что то внятное получилось.

    Для обучения модели, по мощности сравнимой с gpt3.5 нужно 10^26 степени flops (очень приблизительная оценка, скорее всего занижена, так как все очень зависит от использованного оборудования), посчитайте необходимое количество GPU и энергии, для того что бы достичь этого объема вычислений (для примера бери nvidia a100 80gb считая что ее мощность 20tflops это 2*10^13, да так считать не правильно, и в зависимости от задач число можно как увеличивать в 20 раз так и уменьшать в разы).
    ------------

    Что можно сделать и почему скорее всего это то же не получится и почему это тоже будет дорого - можно взять уже обученную (модели с пометкой completion а не instruction) модель и дообучить на своих данных. Если делать это в лоб то качество работы результата значительно упадет, если исходные данные будут хоть немного противоречить (не совпадать) с изначальной обучающей выборкой (есть алгоритмы анализа обучающей выборки на сравнение с исходной).

    НО! Ни одна компания, создающая топовые модели не делится исходными данными (это похоже стало по цене сравнимо с затратами на вычисления), а те что делятся - очень слабые, хуже openai gpt3.5 это уже давно стало минимальным эталоном, все что хуже не будет адекватной instruction.

    Единственное, где finetuning еще как то можно использовать, - это доработка формата ответа (обучающую выборку собирают в купе с ответами самой модели или анализируя эти данные с ее помощью), а так же для фиксации направления использования (не instruction), например превратить модель в классификатор, ты ей текст, а она тебе ответ - типа сообщение содержит хейт, например буквой ответит).

    После тюнинга модели на своих данных, ее нужно продолжить дообучать (из gpt35 так сделали gpt4), с помощью RLHF, это когда куча не дешевых людей (потому как дешевых уже давно заменяют другой моделью, например openai) анализируют ответы и помечают где модель ответила правильно а где нет, еще лучше когда дают оценку, или выбирают лучший из нескольких.

    Т.е. тебе нужна база вопросов, это еще одна обучающая выборка (специально подготовленная), скорее всего это еще одна причина, почему существуют сайты типа чат арены, где 'за бесплатно' у народа собирают огромную базу вопросов и их бенчмарков.

    p.s. резюмирую, если у тебя в кармане нет порядка $10кк а скорее всего в десятки раз больше, то 'с нуля' обучать свою модель у тебя не получится.

    В мире не так много компаний которые в принципе на это способны - в россии например на это способны богатейшие только сбербанк (гигачат) и яндекс (yandex gpt), последние этим занимаются давно (за долго до появления chatgpt) и единственная их проблема - не хватает денег (и блокировка доступа к покупке оборудования), и возможно специалистов.
    Ответ написан
    7 комментариев
  • Что входит в "базовую" алгебру?

    Я так понимаю, школьная. Типа решения всяких уравнений/неравенств.
    Ответ написан
    Комментировать
  • Как получить url как у Гугл поиска для Яндекс, Firefox и т.д.?

    AshBlade
    @AshBlade
    Просто хочу быть счастливым
    У каждого поисковика свой URL для поиска. Для яндекса (по крайней мере у меня): https://yandex.ru/search/?text=
    Их надо просто найти (идешь в поисковик нужный, делаешь любой запрос и смотришь в адресную строку)
    Ответ написан
    Комментировать
  • Каким образом учить нейросеть(свёртрчную, рекуррентую, трансформер)?

    @AlexSku
    не буду отвечать из-за модератора
    Так же и обучаются.
    Примеры у Игоря Мотькина.
    Ответ написан
    Комментировать
  • Почему на сайтах в js коде используются непонятные однобуквенные переменные и что они значат?

    Rsa97
    @Rsa97
    Для правильного вопроса надо знать половину ответа
    Потому что для рабочей версии сайта чаще всего используют минифицированные версии файлов.
    Ответ написан
    1 комментарий
  • Как переводить не загружаемый сайт на другое подключение на роутере Keenetic?

    SignFinder
    @SignFinder
    Wintel\Unix Engineer\DevOps
    Никак
    Ответ написан
    Комментировать
  • Как переводить не загружаемый сайт на другое подключение на роутере Keenetic?

    @Drno
    Это не решается так просто, как Вы думаете.
    Как вариант советую воспользоваться проектом Антизапрет
    Ответ написан
    Комментировать
  • Как открыть Android приложение на Linux без wayland?

    smorman
    @smorman
    When In Rome do as The Romans do...
    Так скачай Android-x86_64 iso-файл, установи с него Андроид в виртуалку и радуйся жизни!

    Ставится на ура!
    Android 9 в QEMU/KVM
    672cfa5e61429075664421.png
    672cfa6c962a8626225354.png
    672cfa77c78a0633555755.png
    Ответ написан
    Комментировать
  • Может ли бесконечный цикл в программе привести к поломке компьютера или смартфона?

    @pfg21
    ex-турист
    безумный, но вполне вероятный вариант :)
    зацикленная перезапись флеш-памяти прошивки матери али железяк, SSD или иных видах памяти, основанных на сохранения заряда, достаточно быстро закончит их ресурс. компутер перестанет загружаться.

    ошибка кода может послать кривую команду через ACPI или SMBus на драйвера питания и подать на cpu, dram и прочие нежные микросхемы слишком большое напряжение питания - могут сгореть мгновенно или "быстрее" чем при нормальном питании.
    Ответ написан
    Комментировать
  • Может ли бесконечный цикл в программе привести к поломке компьютера или смартфона?

    @rPman
    Современные компьютеры и смартфоны 'можно сломать случайно' бесконечным циклом записи на ssd диск, на сколько я знаю, на это нет никаких уведомлений или ограничений... записав до лимита, диск в лучшем случае будет переведен в read only режим. Смартфоны скорее всего будут окирпичены (до замены материнской платы или перепаивания флэш памяти), причем это произойдет быстрее чем с pc ssd.

    На дешевых смартфонах (ну mid end точно) можно создавать файлы в цикле (или записывать бесконечно) заполнить все свобожное место, устройство становится адски медленным (особенность работы флэш памяти на смартфонах, у них контроллер не умный), но это можно вылечить перепрошивкой.

    Современные процессоры уже лет 20 не могут быть убиты перегревом, но срок годности от высокой нагрузки значительно сокращается. Но у нас есть GPU, они и работают в более жестких условиях и возможностей по их нагрузке больше. Если говорить не про случайную ошибку а целенаправленный вывод из строя - циклично нагревая и охлаждая процессор (давать попеременно высокую нагрузку и нулевую) его можно физически поломать (собственно расширяя и сжимая сломать можно все), правда температурный профиль этого нужно будет подбирать под систему охлаждения... произойдет это явно быстрее типового использования, но скорее всего все равно будет жить гарантийный срок... с другой стороны, дать высокую нагрузку на слабый процессор, чтобы перегреть его, может быть очень сложно, например я при сборке подбираю систему охлаждения с сильным запасом (в результате даже под нагрузкой слабое железо работает бесшумно и не перегревается), но для топового железа это может быть проблематичным.
    Ответ написан
    Комментировать
  • Может ли бесконечный цикл в программе привести к поломке компьютера или смартфона?

    Steel_Balls
    @Steel_Balls
    0L3QsNGH0LjQvdCw0Lsg0YEgQkFTSUMg0L3QsCDQo9Ca0J3Qpi
    Маловероятно.
    Но надо иметь в виду, что при частых обращениях к HDD он может сломаться.
    Так же, если прога разогреет проц и видеокарту и при этом не будет должного охлаждения, то он от перегрева умрёт.
    А если подключить к компу механическую руку, которая может сломать комп, то тогда может такое произойти )))
    Немного выдуманный вариант - из-за бага может начать сильнее работать кулер, комп из-за вибрации упадёт со стола. Думаю, направление мысли понятно...
    Не забываем о том, как ошибки в коде выводили из строя космические аппараты.
    Если говорить о коде для микросхем или всяких там Arduino, то ошибки в коде могут быть фатальными. У меня не раз сгорали разные радиодетали из-за ошибок в коде.
    Другими словами, напрямую код никак не может сломать комп. А вот косвенно - может.
    Смартфон сломать сложнее, но проще, если он рутованный.
    P.S. 35 лет назад в школе я боялся подходить к новенькому IBM PS/2 30286, к этому чуду техники и с опаской нажимал на клавиши. Но потом мудрый учитель информатики сказал - с помощью клавиатуры ты комп не сломаешь, не бойся. Если что-перезагрузим.
    Вот эти его слова развязали мне руки и я стал мучать компы в хвост и гриву. Однажды даже написал программу, которая с помошью PEEK/POKE напрямую писала случайные значения в случайные адреса памяти. Ух, было весело
    Ответ написан
    6 комментариев
  • Как обмануть веб приложение?

    @pfg21
    ex-турист
    если в приложении имеются алгоритмы отпечатка то никак.
    варианты скрытия отпечатка в простом телепоне не реализуемы, как минимум просто так и задешево (новый телепон дешевше будет)
    Ответ написан
    1 комментарий