dmshar

Если вы ПРОЧИТАЛИ книгу,но НЕ ПОНЯЛИ основ - то одно из двух: либо книжка была "не та", либо вы ее именно читали, но не разбирались в сути прочитанного. И надеяться на какие-то короткие статьи, в которых будет это то-ли более подробно изложено, то-ли специально адаптировано - весьма наивно.

Совет - "не зашла" одна книга - ИЗУЧАЙТЕ (!!!) другую. Если не зайдет вторая, третья - то возможно, это "не ваше".

Непонятно, откуда у вас MemoryError. Если исходная выборка размещена в памяти, и ей хватило там места, то на что у вас расходуется память? Вам ведь не надо запоминать все полученные простые числа. Вы берете их по одному и просто выясняете - простое оно или нет.
Вот со временем - да, если у вас действительно большие числа и их к тому-же много - ну тогда переборный алгоритм быстрый не будет. Поэтому ограничение в 1 сек. - это просто какая-то мягко говоря странность, если не указывать, а какие именно числа в вашей последовательности. Для 1000 чисел, всех лежащих в диапазоне от 0 до 1001 - это одно, а для лежащих в диапазоне от 10**12-1000 до 10**12 - это совсем разное время работы.

Беда не в том, что у вас было "плохо с математикой". Беда в том, что даже если сама по себе математика может и не понадобиться в работе Data Science, математический стиль мышления для серьезного занятия им необходим. То, что этот стиль мышления не ваш - не надо рассматривать как недостаток. Надо его рассматривать как свою особенность, и искать то занятие, которое просто более подходит именно для вас. И чем раньше вы это поймете и примете - тем больше шансов, что вы все-таки найдете "свое" .

Не очень понятно, чем вам не угодили официальные курсы. А поскольку вы Системный аналитик, то я уверен, что вы также легко самостоятельно нагуглили вот эту кучу курсов в Udemy:
https://www.udemy.com/topic/teradata/
и непонятно, что в них вас не устроило? И сертификаты там дают, кстати.
Правда, не на русском, но вам, как Системному аналитику это преграду, разумеется, не составляет.

Время, когда любую задачу машинного обучения гордо обзывали Big Data давно прошло. Big Data тем и отличается от традиционного Mаchine Learning (включая нейронки между прочим), что данных должно быть очень много. Очень. Очень-очень-очень. Настолько много, что вы не в состоянии решить задачу без распараллеливания, без специальных методов работы с постоянной подкачкой и пр. Big Data - это не классификаторы, не кластеризация и не Deep Learning. Это Hadoop и все, что вокруг него, это MapReduce, это Spark, X-plenty, Cassandra, всякие Hana, Teradata, Talend и пр.
Вы точно это имеете ввиду, когда говорите про Big Data? И у вас есть терабайты этих самых данных, и доступ к соответствующим инструментам их обработки? Интернет-магазин, говорите? У вас есть доступ к данным Amazon?
Может для начала стоит хоть с терминологией правильной разобраться (хотя диплом, что-то же вы 4 или 6 лет все-таки учили?), а уж потом думать про диплом.
И если вы все-таки решите писать работу в области Machine Learning, то рекомендую для начала подумать, к каким данным у вас есть реально доступ, а уж исходя из этого и тему придумывать.

Добрый вечер ребят.
- привет, ребятёнок.
Пытаюсь перевести то, что написано в вопросе на нормальный язык.
"Файл в массиве" - т.е. данные уже считаны в массив. Тогда причем тут "очиститель файла"?
"скрип который очистит в файле после определённого знака" - Противоречит дальнейшему примеру, в котором на самом деле очищается не "файл", а просто удаляется в каждой записи файла (а точнее - в каждом элементе массива) то, что стоит после ":".
"строк более 1миллиарда" - не впечатляет.
Так вот, если данные уже в "массиве" - правда, не ясно, как вы его на Python организовали, но будем считать, что все-таки с помощью списка, - то далее все элементарно:

arr =['164672jeirjfueheh: mom don Bob','Uehehe72+7388: udiend jejd jejaj']
for i,row in enumerate(arr):
    arr[i]=row.split(':')[0]
print (arr)

Результат:
['164672jeirjfueheh', 'Uehehe72+7388']
Можете, если нужно, возвращать в файл.
Впредь постарайтесь свой вопрос излагать более четко и технически грамотно.

Де-факто программа выполняет непонятно что. Например

inter_mass_n = {item : 0 for i in mass_q for item in range(i[0]-1, i[1])}

создает словарь со всеми нулевыми значениями.
А тут просто увеличивает эти нули на единицу.

for i in mass_q:
    for j in range(i[0]-1, i[1]):
        inter_mass_n[j] += 1

Что-бы это значило? Почему сразу не присваивать единицы?

Выскажу свое мнение. Если речь идет о произношении, акценте - т.е. английском, американском, индо-английском, китайско-английском и пр. , причем именно распознавании произношения - то задача по моей информации на сегодняшний день неразрешима. Нет надежных систем, способных надежно распознавать устную речь, тем более в условиях ошибочного (или неканонического) произношения, коим является акцент.
Если речь идет о произношении слов человеком, который вообще не знает английского, а читает как пишется ("сигнатуре") то во-первых, непонятно, зачем это надо, а во вторых тем-более таких систем не встречал (не исключаю, что из-за их бессмысленности никто этим и не заморачивается).
Да и вообще отождествить "сэйнача" и ['sɪgnəʧə] - думаю не всякий человек справиться. Думаю, именно такой пример вообще нельзя считать ничем иным, как какой-то тарабарщиной неграмотного (с токи зрения знания английского) человека. Таких "тарабарских" вариантов может быть бесконечно много ("синатур", "сайгнэтюрь" и т.д.).

Берете сайт поиска работы. Ищете вакансии "python backend программист", выписываете требования. Вот это и надо знать.
OOП надо знать всем, кто имеет наглость в своем резюме указывать слово "программист". Вне зависимости от Python, С++, backend, GameDev и прочей ерунды.

Обратится в соответствующие аналитические агентства. За денежку - и не малую - они вам выдадут такую аналитику. Ну можно еще в Госстат обратиться, примерно на такой-же основе.

1. Оформите свой код в теги, что-бы можно было понять, что делает ваша программа.
2. Напишите свой вопрос, используя грамматику русского языка, что-бы можно было понять, а в чем собственно ваш вопрос заключается.
3. Попытайтесь объяснить, что значит "использовать другие програмы с помощью кода python" в общепринятой терминологии.
4. "оно используется на открытих окнах " - кто ОНО и на каких ОКНАХ (в множественном числе)?
5. то есть я тип работаю в другом окне а она работает в другом окне - т.е. вы запустили программу в одном окне, а сами переключились в другое? - Да так можно. (Похоже, именно это и есть ответ на ваш вопрос)
6. Или же можно ли сделать чтобы она работала вместе с програмой в фоновом режиме? - кто ОНА, вместе с какой программой? Что значит "вместе"? В фоновом режиме можно выполнять любую программу, не ведущую диалог с пользователем (на то он и фоновый). Причем таких программ можно поназапускать столько, сколько позволяют ресурсы вашего компьютера.

Зачем браться за задачу, для решения которой надо задействовать несколько сложных технологий, ни одной из которых вы не владеете? Не проще-ли начать с постепенного освоения этих самых технологий, а уж потом - если к тому времени вы не поймете слабую мотивированность при создании описываемого приложения - переходить к ее решению?

Как нанести на карту?
Под вашу конкретную задачу - вряд-ли найдётся что-то готовое. Надо искать что-то близкое и вашей задачи и допиливать под свою.
Вот несколько примеров, с которых можно начать:
https://www.opensourceforu.com/2021/03/plotting-ai...
https://github.com/googlemaps/google-maps-services...
https://plotly.com/python/maps/
https://towardsdatascience.com/how-to-create-inter...
https://towardsdatascience.com/mapping-with-matplo...
https://geopandas.org/docs/user_guide/mapping.html
https://towardsdatascience.com/creating-beautiful-...
https://towardsdatascience.com/making-3-easy-maps-...

Не дочитал до конца. Какая-то каша. Сначала застопорился вот на этом.
Группа1 и Группа2 различаются по обнаружению качественного признака Х.
Что это означает?
Что вы отнесли элементы в группы по значению этого признака? Ну например - "мужчины/женщины"? "Больной/Здоровый" и пр? Отлично. Так можно. Но вот вопрос, а как тогда вы формировали "Контроль"?

Идем дальше.
В свою очередь каждая группа делится по срокам эксперимента.
Делится? Или все таки у каждого объекта снимаются показатели, но делается это многократно, то что вы назвали "по срокам эксперимента"? Т.е. для каждого объекта на самом деле имеем не параметры "перем1, Перем2, Перем3, Перем4" а параметры "перем1_в момент1, Перем2_в момент1, Перем3_в момент1, Перем4_в момент1,перем1_в момент2, Перем2_в момент2, Перем3_в момент2, Перем4_в момент2,перем1_в момент3, Перем2_в момент3, Перем3_в момент3, Перем4_в момент3,......."

Идем дальше.
доказать, что в Группе2, значения перем1, перем2, Перем (i) отличаются от Контроля и Группы1 - Вопрос - на какой момент?

Далее:
Различие на разных сроках эксперимента внутри группы делал Краскел-Уоллес.-вы хотели проверить, изменяется-ли значения по времени? Могу предположить, что у вас эксперимент по введению двух лекарств, а контроль - это плацебо. Тогда это имеет смысл, но если контроль это "здоровые" - тогда непонятна цель делать этот анализ внутри группы контроля.

Далее:
Сделал корреляционный анализ внутри каждой группы, выявил в части параметров связь в количественных переменных. - цель этого шага и корреляцию чего с чем внутри группы вы измеряли?

Ну, если ответите, то может и получиться подумать и что-то посоветовать.