Komrus

В общем задача типичная, у компании за год из разных отделов прилетает по 100+ отчётов с разным содержанием, в конце года необходимо создать один большой отчёт о всей проделанной работе на 300+ страниц, делали это вручную, но сейчас решили автоматизировать процесс, возник вопрос - как это реализовать?

Для нейронных сетей не свойственен "детерминизм". Тоесть дважды поставленная одна
и та-же задача для НС будет иметь 2 разных результата. Это свойство НС очень важно
например если вы их путаете с Lisp/Prolog и прочими экспертными системами которые
внутри себя действительно содержали if-else логику а НС так не работает. Она - "шумит".
Она завист от random генератора и этот генератор является ее базовым свойством.
Его принципиально нельзя отключить даже при 0 температуре алгоритмов НС.

Но если у вас есть программисты которые в состоянии написать парсер 100+ документов
с использованием НС и протестировав его доказать что результат правильный - то это
будет более верная стратегия. Подумайте в эту сторону.

Если вариант 'только ИИ и никакими другими адекватными способами' уже решен и вас не перспорить то...

Забудьте про анализ на процессоре, будете ждать часами документ. Вам нужна видеокарта, а точнее достаточный объем vram что бы вместить и веса сети (ориентируйтесь на исходные веса и 8бит квантизацию) и kv-cache для контекстного окна (а его объем значимый) и кеша желательно 4-х кратно, что бы batching работал лучше.

Адекватные серверные GPU купить в россии (да и не только) за адекватные деньги не возможно.

Адекватные деньги - это только десктопное железо, самое доступное это 4060ti 16gb vram (по 55т.р. они тормозные для игр поэтому и дешевые). В самом лучшем варианте их можно будет вставить 4шт (можно и больше но почти наверняка будут проблемы в других местах) и при этом работать они будут максимум pci-e 4x (это повлияет на время загрузки весов но не на их работу!)

Если готовы переплатить, берите любые nvidia с 24gb vram. В принципе будет работать и amd, но по софту будете ограничены только llama.cpp, а он с видеокартами не самый эффективный (он заточен на работу на процессоре, но зато лучше всех)

С двумя gpu например отлично работает 14b сеть qwen и qwen distiled r1, я пока еще не пробовал но 27b гугловская так же будет работать. С четырьмя gpu можно пробовать 70b модели (c 4бит квантизацией точно), что llama что qwen.

Смотрим только на картинку, в таблицах - непонятное нечто.
В виду недостатка исходный данных принимаем что:
Маршрутизаторы считаем слева направо:1,2,3.
Интерфейсам маршрутизаторов присваиваем такие адреса:
1.1: 10.11.0.1/30
1.2: 10.11.1.62/26
1.3: 10.11.2.62/26

2.1: 10.10.1.62/26
2.2: 10.10.2.62/26
2.3: 10.11.0.2/30
2.4: 10.12.0.2/30

3.1: 10.12.0.1/30
3.2: 10.12.1.62/26
3.3: 10.12.2.62/26

Тогда маршруты на роутере 1:
10.10.0.0 255.255.0.0 10.11.0.2
10.12.0.0 255.255.0.0 10.11.0.2
На 2:
10.11.0.0 255.255.0.0 10.11.0.1
10.12.0.0 255.255.0.0 10.12.0.1
На 3:
10.10.0.0 255.255.0.0 10.12.0.2
10.11.0.0 255.255.0.0 10.12.0.2

Может угадал :)

С резким ростом популярности React Server Components и Next.js в последнее время происходит некий сдвиг в понимании, что такое фронтенд.
BFF уже почти становится неотъемлемой частью "фронтенда", и становится обременительно разделять браузер и сервер на разные команды.
На Западе, вообще, уже очень давно и макетами, и вёрсткой, и анимациями очень часто занимается один человек - дизайнер, фронтендеры занимаются связкой браузер + BFF, а бэкендеры занимаются более сложной бизнес-логикой.
К тому же, джуниорам зачастую дают те задачи, которыми сами не хотят заниматься, и на что нет времени. Т.е. это что-то занудное, работа с legacy, передвижение кнопки на 5px влево и т.д. Крайне редко джуниорам дают интересные творческие задачи. Не факт, что вам на новом месте не дадут такие же неинтересные задачи.
Вы можете либо молча сильно стараться в надежде, что вам потом дадут что-то интересное, заметив ваше рвение, либо, лучше всего, пообщаться по-человечески с коллегами и начальством, объяснив, что вы рветесь в бой, а вас в тылу держат. Попросите рассказать об их планах на ваш счёт.
Не исключено, что у вас как раз хорошо получается "Настройка тестов, CI/CD, OLAP CUBE, оптимизация запросов к БД", и поэтому вам эти задачи и дают)
В общем, человеческое общение с коллегами очень часто решает проблемы.
Если же вы к ним придёте с открытой душой, а вас токсично отошьют, вот тогда подумайте о смене работы.

Поднять еще один Mikopbx и использовать его как SIP-провайдера для тестов )

https://xibosignage.com/cms

Оборудование уже куплено или только выбираете?
Реально, лучше обратиться к тому, кто понимает, так как много тонкостей и есть риск выбрать несовместимое оборудование.

В связи с санкциями, рекомендации могут зависеть от страны.

iscsi работает поверх Ethernet.
Доступные скорости от 10 до 100Gb/s.

FC — свой протокол. Визуально модули выглядят как такие же sfp, но с ethernet несовместимы.
На данном массиве скорости 16 и 32 Gb/s.

В массиве могут быть установлены разные адаптеры и в разном сочетании.

Тип контроллеров в серверах должен соответствовать контроллерам в массиве и коммутаторам.
Коммутаторов должно быть два.

Это касается сети данных. Но у серверов должен быть ещё и доступ к обычной сети.
В случае использования iscsi, эти сети могут быть совмещены.

Не зная задачи можно собрать систему с недостаточной производительностью или сильно с излишней (цена может отличаться на порядок).

Так же надо проверять совместимость с софтом, который будет поверх всего этого работать (судя по всему, какая-то виртуализация)

Хорошо знаю мсфо, консолидацию, управленческий учёт, английский, немного sap.

Вы уже этим на голову выше среднестатистических аналитиков и рп на 1с-проектах! Вам нужно только состыковать ваши знания с терминологией и особенностями конфигураций 1С.

А может сертификаты не нужны и идти учить все на практике?

Исходя их ваших навыков, вам не составит сложности в ускоренном режиме подготовится к сертификациям по интересуемым сферам. Сам по себе сертификат вам не нужен, но вам нужны материалы "для подготовки" - вам нужно обратить внимание на те участки, которые особо выделили методологи этих конфигураций/подсистем.

Лично я большую часть знаний получил уже "в поле", но я был обычным внедренцем, а не аналитиком и тем более не тимлидом. Ваши целевые должности предполагают наличие определенного объёма знаний, которые оптимально получать на специализированных курсах.

Дешевле всего - собирать данные с тех устройств, к которым через data-порт подключены ИБП, через zabbix-agent. Но в целом, если нужен мониторинг - обычно берут бесперебойники с возможностью сетевого доступа.

100% мечты о будущем

Да в некоторых случаях возможно защититься от создания фейковых видео.
Контент на записываемом сайте должен быть невоспроизводим заранее и это можно было бы проверить.

Для этого все изображение должно быть обработано, в ключевые для задачи места (которые нужно защитить от подделки) необходимо добавить модификации, в которых закодирована цифровая подпись. Что бы это было слабо заметно человеку, это могут быть слабые изменения в цвете пикселов или их сдвиги с помощью стеганографии, сообщаешь всем заинтересованным об алгоритме извлечения значения, и сохраняешь в нем цифровую подпись данных.

Т.е. в твоем случае Сайт 1 и Сайт 2 должны на своих страницах в ключевых местах оставлять такую цифровую подпись на изображении и предоставить механизмы проверки видео на наличие в них подписи (т.е. нужно будет покадрово анализировать изображения и сообщать что вот в этом кадре вот в этой области есть информация и она подписана)

Так же в этой информации должна быть заложена информация о текущем времени (что бы нельзя было подсунуть старые изображения).

Так же лучше подписывать не все изображение целиком, а разделить его на области (например прямоугольная сетка) и подписывать каждую по отдельности, тогда метод записи будет не так критичен (например человек может записывать внешней камерой, трясущимися руками)

У онлайн резервирования данных ценник реализации растет экспоненциально от допустимого лага во времени назад от момента аварии, до которого можно терять данные.

Универсальные решения крутятся вокруг репликации (базы данных), постоянных снапшотов файловой системы и верхнеуровневых логов действий пользователей, на основе которых можно восстановить потерянные данные (например, восстанавливаем данные на за час до смерти системы и симулируя действия пользователей, доводим состояние до конечного).

При возникновении выбора, купить специализированное железо или завернуть как очередная виртуалка на сервере приложений - выбирать первое.

Если есть возможность, закладывать онлайн резервирования и восстановление в само приложение (те самые прогоны логов действий пользователей), как ещё один способ а не единственный.

Само собой, резервные копии территориально должны быть разделены с рабочими данными... ну и регламенты доступа к данным, запрет доступа со стороны (сервер резервной копии инициирует подключение и авторизацию а не наоборот).

Куча нюансов от того какой софт крутится с данными, как бизнес к простоям толерантен, допустимы ли лаги при модификациях (пока сервер репликации не скажет что все ок, все будут ждать), держишь ли ты запасное железо в загашнике, как регулярно проверяешь ли бакапы на восстановление и проверяешь ли результат, добавляешь ли в копию софт и инфраструктуру для его запуска (а то через несколько итераций обновлений старый бакап станет тыквой), достаточная ли документация и проводишь ли ты текстовые стресс прогоны с сотрудниками на форс-мажор (мало сохранить данные, нужны люди, способные в срок из вернуть),..

Приемлемого качества можно добиться и со свистком с алика, только нужно подключать не композитный сигнал тюльпанами, а компонентный через S-Video. Видеомагнитофон желательно брать S-VHS с хорошей системой трекинга, захватывать в какой-нибудь формат со сжатием без потерь, для PAL разрешение 768х576i (чересстрочный). Дальше всё улучшение достигается различными фильтрами постпроцессинга, их великое множество: стабилизация строк, интерполяция выбитых строк, анти-ghosting, шумодавы итд итп (https://forum.videohelp.com/forums/41-Restoration). После достижения нужного результата можно сделать деинтерлейс (перевести в прогрессивное видео), можно с удвоением частоты кадров, и сохранить в какой-нибудь нормальный формат со сжатием h264/265.

Данная задача в общем виде решения не имеет.
Так как в мире огромное количество дисковых корзин, raid-контроллеров, hba - адаптеров.
А ещё внешние raid контроллеры иногда называют дисковыми корзинами.

Есть особенности брэндованного оборудования.
Совместимость - это не только можно подключить и оно не сгорит, но и совместимость с конкретным софтом, обеспечивание мониторинга и предсказуемая производительность.

У произвольной платформы для сборки не всегда понятно какие именно на ней стоят разъемы, активный или пассивный бэкплейн на ней. Хорошо, если на неё можно посмотреть в живую..

В полном виде знать все это одному человеку просто невозможно. Есть специализация по платформам, софту итд..

6 лет - это не большой опыт. Средний миддл примерно. Причём при условии фуллтайм работы в офисе/команде. А в 19 лет это считай вообще 0 лет реального опыта. 18 лет - окончание школы, 19 - возврат из армии. Т.е. уровень джуна примерно. Откуда возьмутся 6 лет опыта? Даже если вы все эти шесть лет занимались работой каждый день по 8-10 часов, то возникает вопрос - а на остальное образование вы забили болт? Да и кто вообще школьника возмёт на полную ставку? Это незаконно. Законно фуллтайм вы работать не могли. Так кому нужен человек без среднего образования? А если нет, то слова про "шесть лет большого опыта" - это враньё. Кому нужен человек, который уже в резюме врёт? Поэтому вас сразу заворачивают. Вот на вакансии уровня джуна и начального мидла, в лучшем случае, вам и следует нацеливаться. Тем более без ВО. Так же следует подготовить качественное резюме и CV согласно современным стандартам и рекомендациям. И без фантазий про шесть лет опыта. Отдельно указать официальные места работы и фриланс. Разработка ПО, системное администрирование, дата-инженерия, тестирование - это всё разные профессии.

1. Допиливаете вашу СЭД, чтобы в сессии авторизации пользователя в базе сохранялся некий случайный идентификатор md5, который генерится в момент входа в систему пользователя (желательно, чтобы он отличался от прочих сессионных идентификаторов - вам его выставлять наружу).
2. При совершении действия пользователя в электронный документ ставится штамп:

Ф.И.О.: Иванов Иван Иванович
Должность: заведующий складом
Действие: утверждение документа
Дата и время: 18.02.2025 13:00:03
Введен логин: ivanov_ii_234
Идентификатор подписи: 58dcea47f85834a3896cef9ab35b6d13

Получилась простая электронная подпись.
Она действительна только внутри СЭД. При разбирательствах по идентификатору пользователя, логину и дате и времени сопоставляются сведения из базы данных - какому пользователю он соответствует, какие действия в журнале событий системы происходили в указанное время, авторизовывался ли пользователь и т.д.