Говорят, что книга «Алгоритмы» Кормена — лучшая из существующих.
Есть Codewars, где можно решать подобные задачки и смотреть лучшие решения других участников. То есть, просто набить руку в этом деле. Не так сложно, как кажется.
На learn.javascript.ru после каждого урока есть прекрасные задания.
Есть множество книг по математике, которые не напичканы на 90% формулами, а простым языком объясняют математику.
Но для начала лучше садиться и писать код.
А учиться можно бесконечно, так и не начав делать реальные вещи. Не забывайте об этом.