Как в dataframe разделить одну колонку на две?

Question

[Denis]

пишу в zeppeline notebook

у меня есть такой dataframe:

splited_genres_df.show(20)

+-------+--------------------+---------+
|movieId|               title|   genres|
+-------+--------------------+---------+
|      1|    Toy Story (1995)|Adventure|
|      1|    Toy Story (1995)|Animation|
|      1|    Toy Story (1995)| Children|
|      1|    Toy Story (1995)|   Comedy|
|      1|    Toy Story (1995)|  Fantasy|
|      2|      Jumanji (1995)|Adventure|
|      2|      Jumanji (1995)| Children|
|      2|      Jumanji (1995)|  Fantasy|
|      3|Grumpier Old Men ...|   Comedy|
|      3|Grumpier Old Men ...|  Romance|
|      4|Waiting to Exhale...|   Comedy|
|      4|Waiting to Exhale...|    Drama|
|      4|Waiting to Exhale...|  Romance|
|      5|Father of the Bri...|   Comedy|
|      6|         Heat (1995)|   Action|
|      6|         Heat (1995)|    Crime|
|      6|         Heat (1995)| Thriller|
|      7|      Sabrina (1995)|   Comedy|
|      7|      Sabrina (1995)|  Romance|
|      8| Tom and Huck (1995)|Adventure|
+-------+--------------------+---------+
only showing top 20 rows

в столбце title есть и название фильма и год выпуска этого фильма, а мне нужно этот год добавить в отдельный столбец под названием year а title видоизменить, чтобы он был без года, а только название фильма.

Comments

[Алан Гибизов]

А как вы пробовали это сделать?

[Алан Гибизов]

И при чём тут все эти теги, вам же уже делали замечания относительно тегов. См.п.3.1. Вам надо распарсить колонку - ставьте тег парсинг. Нет кода на языке - не надо лепить тег языка. Будьте внимательней.

[Denis]

Алан Гибизов, это pyspark dataframe и pyspark.sql

[Алан Гибизов]

denislysenko, да хоть ассемблер. Кому из 30000 читателей тега python и 22000 читателей тега SQL могут быть интересны и полезны ваши разборки с датафреймом фильмов? Кто из них сможет вам помочь?
Тем более что нет ни строчки кода ни SQL ни python.

Answer 1

[Slava Rozhnev]

splited_genres_df['year'] = splited_genres_df['title'].str.extract('\((\d+)\)', expand=True)
splited_genres_df['title'] = splited_genres_df['title'].str.extract('(.+)\(\d+\)', expand=True)
splited_genres_df.head()

Comments

[Denis]

Здравствуйте, спасибо за ответ, но выдает такую ошибку:

splited_genres_df['year'] = splited_genres_df['title'].str.extract('\((\d+)\)', expand=True)
splited_genres_df['title'] = splited_genres_df['title'].str.extract('(.+)\(\d+\)', expand=True)
splited_genres_df.show(10)

Fail to execute line 3: splited_genres_df['year'] = splited_genres_df['title'].str.extract('\((\d+)\)', expand=True)
Traceback (most recent call last):
  File "/tmp/1639314988872-0/zeppelin_python.py", line 153, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 3, in <module>
TypeError: 'Column' object is not callable

может подскажите как исправить?

[Denis]

Может это связано с тем, что я не импортировал extract ?