cicatrix

Как злоумышленник я могу:
1. Внедрить зловреда тебе на машину
2. Хакнуть твой роутер
3. Если ты в локальной сети, могу слушать твой трафик на пути к шлюзу
4. Если ты через Wi-Fi это сделать ещё проще
5. Прислать тебе фишинговую ссылку
6. Перехват можно осуществить на провайдере
...
ещё 100500 способов
Пакет от твоей машины до веб-сервера может проходить через десятки соединений и на каждом звене в этой цепочке можно перехватить / перенаправить / видоизменить незашифрованный трафик.

P.S. Правда, если зловред на твоей машине, то уже поздно пить боржоми.

То, что вы спрашиваете, называется криптоанализ. Если я правильно понял задачу - вы работаете с "чёрным ящиком" сам алгоритм кодирования известен устройствам, но неизвестен вам.
Наверное, какой-нибудь опытный криптоаналитик и смог бы вам помочь с весьма призрачными шансами на успех.
Вернее так, шансы на успех зависят от алгоритма шифрования, которые изначально проектируются умными людьми специально, чтобы максимально осложнить вот это то, чем вы занимаетесь.
Например, проверьте, кодируется ли одно и то же входящее сообщение каждый раз по-разному или одинаково. Если по-разному, то в алгоритме используется какой-то неизвестным вам параметр (вектор инициализации), и это может быть что угодно (например, внутренняя таблица подстановки). А если устройства могут использовать какие-либо другие данные, то задача усложняется многократно. Тут надо будет уже понимать, откуда эти векторы инициализации могут браться в принципе.
А так-то сбрутфорсить 4 байта - задачка плёвая, но алгоритм, естественно, вы так не найдёте. Да и ещё вопрос - каждый раз ключ разный или одинаковый?
Ну а лучше всего, раскопать документацию по этим двум устройствам, ну или расковырять и проверять уже саму электронику. Если есть чипы с памятью, то выпаять - считать память, покурить даташиты, посмотреть, что происходит. Если это не пульт управления ядерным оружием, то не думаю, что с защитой уж слишком сильно заморачивались. Вполне можно попробовать перехватить сигнал на открытие доступа и сделать обход.

P.S. А вы вообще уверены, что это шифрование? Может, сигналы управляющие какие-нибудь?
4 байта - уж больно примитивная защита.

Base64 раскодируется в эту последовательность:
74 80 8f dc 06 a8 be 7c b0 a4 a0 db be 3d 06 42
Но никакого осмысленного текста здесь нет. Если это двоичные данные, то без контекста, это может быть что угодно.

Ассиметричный шифр предусматривает 2 ключа - закрытый и открытый
Предусматривается, что закрытый ключ никто не знает, кроме владельца, открытый известен всем.
Открытым ключом можно расшифровать сообщение, зашифрованное закрытым ключом, но само шифрование можно осуществить только при помощи закрытого ключа.
На этом основывается действие ЭЦП. Если при помощи открытого ключа я могу расшифровать сообщение, значит я точно знаю, что его зашифровал владелец.
Для большей надёжности, каждый сеанс данные шифруются при помощи обычного симметричного шифра, ключ к которому случайным образом генерируется и обновляется каждый сеанс.
Передача такого ключа по незащищённому каналу осуществляется по алгоритму Диффи-Хэллмана, специально для этого разработанному. Вот там-то и используются закрытые и открытые ключи ассиметричного шифра.

Для изобретения велосипеда и обучения тому, как всё это работает, генерить большие числа не требуется.
Если уж очень хочется - то вот, ознакомьтесь. Ну и либо Решето Аткина, ну или того же Эратосфена.
Это первое.
Второе: никогда, никогда, никогда, никогда, никогда не пытайтесь реализовать криптографические алгоритмы для любых целей, кроме образовательных. Никогда не используйте собственную реализацию для защиты хоть чего-либо важного. Я вас, конечно, не знаю, но докторской степени по математике и нескольких лет опыта в криптографии и криптоанализе у вас, скорее всего, нет.

По виду - подстановка, просто одни буквы заменены другими.
Обратите внимание на повторяющиеся числа - это слова с двойными буквами. Например 27-7-7-27 - слов, где такое сочетание букв (например, -ОННО-, -ЕССЕ-, и т. д.) не так много.
В экселе лучше всего прикидывать варианты и смотреть, что получится.

Никогда не придумывайте ничего из области криптографии, пока у вас не будет хотя бы докторской степени по математике. В качестве разминки для ума - можно, но боже вас упаси нести эту отсебятину в коммерческие продукты.
По той же причине, что я озвучил выше, никто здесь, скорее всего, не сможет провести анализ вашего алгоритма на криптографическую стойкость.
Не знаю, может быть, ваш алгоритм гениален и никто за всю историю компьютерной криптографии до него не додумался, не смотря на то, что над изобретением шифров трудились лучшие математики планеты, но я сильно в этом сомневаюсь.

Что вы подразумеваете под "взломать"? если "взломать = найти период", то вам нужен сам ГПСЧ и желательно описание его алгоритма.
Самое простое - просто запустить и ждать - рано или поздно (скорее поздно на хорошем ГПСЧ) он повторится.
Если вам известен алгоритм генерации, можно попробовать решить аналитически, но опять же, зависит от алгоритма, если он односторонний, тогда только ждать повтора.

Если "максимально безопасно" то, разумеется, шифровать.
Для поиска можно тупо повторить в соседнем поле в незашифрованном виде 4 цифры, которые получаете от банка.
И да, если "максимально безопасно", то каждая запись должна шифроваться своим ключом, который, разумеется, не должен лежать рядом с записью.

Вообще, это всё словоблудие: 100%-й безопасности не бывает. Определите сценарий угрозы - от чего именно вы хотите защититься, определите наиболее вероятные векторы атаки на ваши данные, постарайтесь закрыть хотя бы их. Безопасность - это КОМПЛЕКС мероприятий (начиная с того, насколько вы уверены в надёжности своих менеджеров/админов, что они не сольют базу злоумышленнику). Подкуп иногда бывает дешевле взлома.

Главное отличие самоподписанного сертификата от сертификата от известного УЦ - то, что пользователям не нужно будет устанавливать ваш корневой сертификат в список доверенных.
Сложности чисто технические, но, как показывает практика, проблемы с этим возникают у многих.

Вообще, криптография и 'for dummies' плохо совмещаются.