rPman

превышается максимальное количество токенов

Никак, придется делать что то с файлом, что бы он влез в контексте окно.

Человек точно так же не сможет переварить за один раз большой объем информации, llm-ки тут наследовали эту ограниченность и невнимательность.

Самое простое, если исходные данные можно разделить, и они независимые, можно поделить исходные данные на части и вызвать для каждой части тот же самый промпт, полученные ответы затем собрать в новый промпт, плюс старый, и получить ответ.

Можно воспользоваться самморизацией, когда части файла заменяются на их укороченные версии, и этот упрощённый файл отправляется как запрос... это логично объединить с предыдущим методом.

Тупой пример - у вас есть исходники приложения, которые нужно проанализировать, суммарный объем значительно превышает контекстное окно. Вы разбиваете из на методы/классы/исходные файла (выбор степени и способа разбиения отдельная не простая задача) затем по каждому куску проводите анализ отдельным запросом, который самморизует информацию в нем (например попроси описать хелп по методу, короткое описание что метод делает и какие входные параметры) и объединив их в один файл, чтобы он влез в окно контекста, уже задавал вопросы.

Метод/класс/файл это не 'или', собирать информацию нужно параллельно на всех уровнях.

Можно итеративно задавать ИИ вопросы, добавив, информацию о каком методе/классе/файле необходимо для ответа на вопрос, замена этот уменьшенный кусок на исходный файл. Речь не идёт о непрерывном чате, внутри каждый запрос это полное окно контекста и лучше самому выбрать, что именно в него должно попасть, т.е. каждый раз формируется новый запрос .. но так как облачные ИИ стали добавлять управление кешем, можно создать несколько сессий, одни собирают информацию по частям, задавая разные вопросы к одному и тому же стартовому контексту, другие работают с агрегированной информацией, третьим с человеком...

Есть два глобальных подхода к автоматизации решения задач:
1. если задачу может решить человек, то задача формализуется, эмпирически (т.е. сам человек, своими размышлениями и экспериментами) формулируются правила, чаще всего переводом в математику, затем они программируются на языках программирования
2. берут какую то универсальную формулу, которая (в теории может описывать любой) описывает требуемую задачу, и каким-либо алгоритмом подбираются ее параметры. Есть кстати алгоритмы, которые перебирают не только параметры но и саму логику формулы.
Одна из самых известных математических формул, которая может описать любой процесс в реальности (с некоторым приближением естественно) - это нейронные сети (есть даже универсальная теорема аппроксимации, показывающая крутость многослойного перцептрона).

Если пользоваться вторым подходом, это может потребовать 'бесконечного' объема ресурсов или 'бесконечного' количества обучающих данных, что само собой не радует, особенно когда львиная доля ресурсов тратится на подзадачу, которая первым подходом уже решена и в сравнении не требует ресурсов вообще.

Если решать задачу вторым подходом, ты можешь скармливать нейросети сырые данные OHLCV, но помним о нормализации, которая при неправильном выборе метода может уже на старте сделать задачу не решаемой за разумный срок (как только реальность выйдет за границы цены в которой была раньше, нейронная сеть сломается).

Поэтому подумай, а как человек классифицирует данные? в каком виде он на них смотрит? в виде графика на котором он рисует линии? вот и представь данные как такой график (нормализуй не от min/max датасета, а текущего фрейма, то что идет на вход нейросети, если что этот подход ничего не гарантирует но как минимум сеть будет видеть то же что и человек).

Есть рекомендация, исключать из обучающих данных атрибуты, которые сильно корелированы, они считаются бесполезными... но важно, какие именно типы данных будут исключены. Индикаторы это некий вид нормализации данных, наличие которых может оказать большое влияние на поиск решения быстрее (т.е. вместо исходных данных, обучающая выборка пусть состоит из различных индикаторов или вместе с ними)

Типичный 'аналитик' начинает рисовать на графиках какие то кривые, обычно по какому то не сложному алгоритму, вот и автоматизируй этот процесс не ИИ алгоритмами, и добавь результат в обучающую выборку, возможно это поможет?

p.s. повторюсь, знание выстраданое многими - бесконечно долго на спекулятивном рынке зарабатывают только обслуга (лопаты продавать эффективнее чем добывать золото), и все места уже заняты и 'охраняются' законодательно (сами биржи и держатели эмиссии, т.е. банки для валют и эмитиенты для ценных бумаг). Все остальные это корм, который кормят крошками чтобы привлечь побольше капитала и забрать все.

И даже если закрыть глаза на манипуляции (в криптовалютах одно время было так что они были слабы) и рассматривать рынок как честный, каждый трейдер торгует против всех остальных, какую бы ты стратегию ты не разработал, долго она не проработает, потому что все изменится и придется разрабатывать эту стратегию заново уже под новые реалии... но данных то на эти реалии у тебя еще нет?!

p.p.s. на спекулятивном рынке можно зарабатывать на постоянной, это тяжелый труд, высокое психо-эмоциональное давление, огромные риски... и речь идет о считанных десятках процентов годовых.

пакет struct метод unpack

data=b'\xc8'
struct.unpack('b', data)[0]

data типа bytes, можно считывать из файла, открывая как бинарный файл, флаги 'rb'

В слоте pci-e 4.0 этот ssd будет работать в режиме 3.0, т.е. не будет никакой разницы.

Версия pci-e определит максимальную скорость передачи данных, но она может быть даже с меньшей версией быть лимитирована самим ssd, поэтому ориентироваться нужно именно на этот показатель. И да, если устройство, поддерживающее более высокую версию pci-e и работающее на максимально доступной для этой версии скорости, подключить в слот с меньшей версией pci-e, то и скорость итоговая логично будет понижена.

НО! обыватель скорее всего в обычных задачах не заметит никакой разницы от понижения скорости чтения nvme ssd в 2-4 раза, кроме совсем уж простых типа копирование файлов, либо эта разница будет не существенная. Современные ssd давно не являются узким местом в компьютере (за исключением ситуаций, требующих большой объем записываемых данных или уж очень высокие iops, но это повторяю, не типичные задачи)

https защищает.. но, большинство атак - это атака не на софт или железо, а на человека перед экраном, на простой фишинг попадаются даже опытные (много ли людей ВСЕГДА смотрят на строку адреса?).. да у провайдера vpn мало способов обмануть тут пользователя, но они есть.

Напоминаю, что при установке софта от vpn сервера существует возможность (не факт что ее эксплуатируют но техническая возможность есть) установить на машине (только на нее но не на машины в сети!) корневые сертификаты, которые позволят серверу совершить атаку man-in-the-middle на https протокол и получать к нему доступ не только для чтения но и его модификации... браузеры с этим тоже как то борятся, но и браузер можно подменить или сломать...

p.s. все еще существует софт, в т.ч. периодически слышу про такие проблемы у вендорского предустановленного софта у ноутбуков, которые так или иначе не заботятся о надежности и к примеру не проверяют https/http ссылки (условный ключ -k у curl который заставляет игнорировать подмену сертификата у скачиваемого ресурса) а значит провайдер может атаковать этот уязвимый софт, установить на машину пользователя вредоносный троян и уже с его помощью творить свои черные дела

Для начала, llm-ки, начинают показывать свойства ИИ (т.е. начинают строить внутри себя модель, которая уже начинает себя как то вести а не просто синтаксически и даже логически обоснованный бредогенератор, т.е. хуже gpt35 если что) - это 10^26 flops вычислений, оценка приблизительная, когда читал про исследования на каких величинах это начинается, погрешность была на пару порядков. Мало того, десктопное железо тут не подходит, там требуется огроменное количество оперативной памяти GPU (про CPU даже не заикайся, на нем даже просто запуск - садомазохизм).

Посчитаю за тебя - одна современная видеокарта 4090 дает 80Тфлопс (даже пусть 100 но так неверно, потому что реалии на пару порядков хуже но проигнорируем это) это 10^14 операций в секунду, т.е. только чтобы однократно обучить одну llm (а это обычно делают много раз, меняя гиперпараметры и обучающие данные) тебе потребуется 10^(26-14) секунд или 10^12 секунд или 31709 лет на одной видеокарте... приобретая чуть больше видеокарт, процесс можно ускорить почти линейно (да там начинаются проблемы уже на тысячах gpu, но они решаются спец-железом, спец-алгоритмами и спец-специалистами, и главное первое и последнее с рынка как коровой слизали крупные компании)... к сожалению эта наиважнейшая и самая крутая технология нашего времени требует минимально для старта десятки миллионов баксов вложений а лучше сотни.

Но если все же хочешь взять готовое, разобраться и предоставить это как ваша работа то пожалуйста, гугл: gpt llm training from scratch detailed guide
первая же ссылка - https://youssefh.substack.com/p/training-gpt-2-fro...

С помощью утилиты Майкрософт sysintetnails, regmon/filemon/... Нужно сохранить логи изменения реестра и файловой системы, которые происходят при установке opera на чистую систему (в идеале на только что установлено windows, например в виртуалке установить) но с установленными обновлениями и системным зависимостями, типа vcredist и другими (возможно процесс установки потребуется повторять, чтобы исключить из него эти компоненты, поэтому рекомендуется виртуальные машина с поддержкой снапшотов, позволяющие откатить состояние на начальное в одно мгновение).

Рекомендуется устанавливать в каталог не по умолчанию, так как в очень редких случаях эти пути нигде не прописывают, если это что то типа program files.

По логам видно какие именно файлы и куда были установлены а также какие ветки реестра.

Затем, поиском по содержимому этих файлов и реестру ищем места, где прописан путь к установке и из абсолютного (типа c:\tools\myprog), меняем его на относительный например \tools\myprog или точка . (нужно понимать что некоторые программы могут неправильно работать при таком указании, им нужен абсолютный путь).

Реестр можно сохранить в виде reg файла, а исправленные файлы и есть портативная версия.

Такой запрет сделан, чтобы защитить пользователей от атаки click jacking, когда атакуемый сайт открывается в прозрачном iframe с авторизацией пользователя, и этого пользователя как то вынуждают кликнуть в определенное место на экране (например рисуют кнопку в этом месте), перемещая iframe таким образом, чтобы пользователь нажимал на какие то определенные кнопки на атакуемом сайте.

Формально - можно, создав ее копию на своем домене (гуглить например nginx proxy) и подправив на лету скрипты в том месте, где целевой сайт проверяет работу в iframe

Но! таким образом, естественно, нельзя получить cookies пользователей на этом сайте, потому что домен будет другой и у пользователя на нем будут уже свои куки. А еще атакуемый сайт может понять по статистике, что трафик разных пользователей к нему идет с какого то сервера и это не обычный прокси или vpn... а еще реверсинженеринг чужого кода для того чтобы отвязать его от оригинального домена может оказаться не простым.

p.s. подмена домена сайта - это тоже свой вид атаки phishing, когда пользователя заманивают на сайт, с привычным внешним видом и отлавливают его попытки ввода в нем пароля, от него тоже могут в коде вставлять соответствующую логику, но как и запрет запуска в iframe ее можно удалить.