Так мне нужно шаблон как раз подобрать для regexp_extract чтобы я создал новый df с необходимыми полями
df = df.withColumn('new_field', F.regexp_extract(col('field_text'), r'ШАБЛОН', 0))
Сергей Соловьев, Мне ну нужно готовые решение, я искал в сети как взять (найти) определенный сивмол (или группу символо) и после него взять n элементов до встрече с другим символом, но не чего не нашел.
Сергей Соловьев, Мне не нужно готовые решение, я искал в сети как взять (найти) определенный сивмол (или группу символо) и после него взять n элементов до встрече с другим символом, но не чего не нашел.
Dr. Bacon, что с данными происходит как группировка вычисляется, аналог с JOIN. на физическом уровне может происходит Nested Loops, Merge Join и т.д. и там у них свой алгоритм расчета.
df = df.withColumn('new_field', F.regexp_extract(col('field_text'), r'ШАБЛОН', 0))