Чем автоматически ломать свой код, чтобы проверить тесты?

Question

[glader]

Я слышал, что есть такие инструменты, которые вносят случайную правку в код и проверяют, что тесты падают. Если не упали - значит это место не покрыто тестами. Посоветуйте пожалуйста такой инструмент. Если вы реально им пользовались, буду рад какому-то отзыву.

Comments

[ⓒⓢⓢ]

инструменты-тесты, чтобы проверить другие тесты ...
ещё надо проверить и инструменты-тесты, там же тоже ошибка может быть ...

[Влад Григорьев]

JRK_DV, ну писать тест на тестовую инфраструктуру не так уж и плохо)

glader, А оценивать степень покрытия тестами кода, ломая код такая себе затея.

[Владимир Куц]

Вы вероятно путаете с тестами там где вносятся различные случайные изменения во входные данные, и проверяется реакция.
Так как случайная правка в код поломает саму программу и она тупо не запустится.

[glader]

Владимир Куц, не путаю. Вот объяснение - https://hackernoon.com/mutmut-a-python-mutation-te...

Answer 1

[Drakosh]

mutmut (https://github.com/boxed/mutmut)

Comments

[glader]

Спасибо, именно это и искал.

Answer 2

[Владимир Куц]

Вы вероятно путаете с тестами там где вносятся различные случайные изменения во входные данные, и проверяется реакция.
Так как случайная правка в код поломает саму программу и она тупо не запустится.

Comments

[glader]

Это не так, привел примеры в предыдущем комментарии.

[Владимир Куц]

glader, Приведенные вами примеры легко покрываются традиционными тестами.

[Руслан Гильфанов]

Забавно, что этот ошибочный ответ набрал больше лайков, чем ответы по-существу.

Answer 3

[Игорь Статкевич]

Эм практически любой символ, почти в любой части кода, убьет ваш код, что то вы путаете.

Comments

[glader]

Это не так. Например, обращение к несуществующему элементу словаря. Замена знака в формуле. ПОрча кода ошибки. Много можно примеров придумать.

[Игорь Статкевич]

То что вы описали:
обращение к несуществующему элементу словаря - это все же больше относиться к входным данным, или обработке исключений в процессе получения данных, а остально описанное вами это то о чем писал я выше

[Станислав Некрасов]

glader, Игорь Статкевич прав. А вы что-то странное говорите.

[Станислав Некрасов]

glader, скорее всего вы не так вопрос сформулировали.

[glader]

К счастью, нашлись люди в теме и посоветовали то, что надо :)

Answer 4

[Boris Köln]

Возможно, вам надо менять не код, а данные. Тогда это называется "фикстуры" (Test fixture). Сами их сгенерируйте и в тестах опишите желаемый результат для каждой.