Находим в гугле удачную точку входа, например:
Chaos-based cryptography: a brief overview, и начинаем учиться важнейшему (после умения читать публикации на английском по своему профилю) скиллу исследователя: читать содержимое вкладок References и Cited By. Сама работа конечно уже старая, но у нее аж 180 цитирований, это довольно круто. Поэтому топаем смотреть все статьи, которые тесно относятся к теме исследования. Вот навскидку парочка относительно свежих:
--
Design and implementation of a Chaotic Cipher bloc...
--
Chaos based key expansion function for block ciphers
И так продолжать ползать вниз и вверх по графу цитирований (т.е. от цитируемых статей к цитирующим и наоборот) до полного насыщения и просветления относительно состояния области (или посинения, смотря что наступит раньше).
На русском литература ищется аналогично, только не так удобно.
На ходу ловим ссылки на другие крупные работы (магистерские и кандидатские диссертации) и книги:
--
Защита информации с помощью динамического хаоса...
--
Chaos-based Cryptography: an overview
--
Chaos-Based Public-Key Cryptography
Я думаю дальше вы сможете сами. Полные тексты статей берутся в универе при наличие подписок (если вам повезло), или втихую на сайхабе.