Как разбить столбец на два столбца, при условии что этот столбец это словарь?

Question

[Denis]

есть такая таблица

+----+--------------------------------+-----+----+
|id  |topping                         |type |name|
+----+--------------------------------+-----+----+
|0001|{5001, None}                    |donut|Cake|
|0001|{5002, Glazed}                  |donut|Cake|
|0001|{5005, Sugar}                   |donut|Cake|
|0001|{5007, Powdered Sugar}          |donut|Cake|
|0001|{5006, Chocolate with Sprinkles}|donut|Cake|
|0001|{5003, Chocolate}               |donut|Cake|
|0001|{5004, Maple}                   |donut|Cake|
+----+--------------------------------+-----+----+

как можно разбить столбец topping на два столбца key и value при помощи spark.sql или spark.dataframe ?

Comments

[FanatPHP]

изначально использовать нормальную структуру данных, а не вот эту порнографию

Answer 1

[Aricus]

1. Создать новый столбец.
2. В PHP или другом серверном языке пройтись в цикле по всем строчкам и присвоить правильные значения.