Cheypnow

df.withColumn("title_new", split(col("title"), " (").getItem(0))
   .withColumn("year", split(col("title"), " (").getItem(1))

Сплит здесь кривой, но принцип должен быть понятен.

RDD - это распределенная коллекция. То есть набор данных, распределенных по кластеру, над которыми можно выполнять распределенные операции.
Например, есть файл, лежащий в распределенной файловой системе, каждая нода хранит свою часть файла.
При чтении создастся один RDD, представляющий содержимое этого файла. При этом каждая нода, на которой он хранился, будет обрабатывать свою часть данных.