Всем привет! Поделитесь пожалуйста своим опытом, лучшими практиками как вы устанавливаете ресурсы для spark джобов, На какие параметры вы смотрите(например сколько весит таблица источник, сколько в ней записей) Интересует следующие параметры:
spark.driver.cores: 2 (для чего на драйвере 2 ядра, если драйвер вычисления не производит)
spark.driver.memory: '2g'
spark.executor.instances: 2 (кол-во хостов)
spark.executor.cores: 2 (кол-во ядер на каждой машине)
spark.executor.memory: '10g' (кол-во памяти на каждой машине)
Как учитывать ресурсы если еще будет загружать с партиционированием?
Средний
Средний
