Как запуститьpyspark functions lag?

Question

[AB_AG]

Ищу помощи, зашел в тупик. Pyspark версии v2.4.0

Имеется df - это pyspark.sql.dataframe.DataFrame. Мне нужно сдвинуть данные из столбца wiki на одну строчку и положить их в новый столбец.

# Выглядит он вот так, столбец с id уникальный, wiki не уникальный.
df.show(5)
+----------+---+
| wiki | id|
+----------+---+
| anarchism| 0|
| anarchism| 1|
| defined | 2|
| political | 3|
|philosophy| 4|
+----------+---+
only showing top 5 rows

windowSpec = Window.partitionBy("Wiki").orderBy("id")
df_new = df.withColumn("lag", func.lag("wiki", 1).over(windowSpec)).show()

Ошибки pastebin

И всё падает с ошибкой как бы я не крутил windowSpec и withColumn.

Comments

[Алан Гибизов]

Отсюда не видно, в чём причина, но собственно ошибка:

File "<ipython-input-3-929a02861814>", line 3, in pars_wiki
ValueError: too many values to unpack (expected 2)

[mayton2019]

Данная строчка написана вроде-бы правильно.

df_new = df.withColumn("lag", func.lag("wiki", 1).over(windowSpec)).show()

если судить по моему опыту Scala-Spark.

А что пишет Spark в логах?

[AB_AG]

mayton2019, проблема всплыла раньше. Я переводил из rdd в df, при этом хотел посмотреть размерность или выделить null строчки этого df, но падаю с такой же ошибкой. Что-то не так или в rdd или в укладке rdd в df

[mayton2019]

AB_AG, я тебе так не помогу. Что-же мы это как колдуны или шаманы ... "что-то не так" ... "укладка". Я понятия не имею что там с укладкой. Не вижу ее.

Answer 1

[Denis]

Попробуй так:

windowSpec = Window.partitionBy("Wiki").orderBy("id")
df_new=df.select(
    "wiki", "id",
    F.lag("wiki", 1).over(windowSpec).alias("lag")
)