Тестируются ли внутренние разработки компаний отдельно от проектов, где используются?

Question

[ceravolo]

Приветствую всех. Возьмем для примера ClickHouse в Яндекс.Метрике, Tarantool - в Почте Mail.ru. Интересует, эти базы данных в перечисленных компаниях тестируются только в рамках тестирования проектов или их проверяют отдельно? Разверну мысль: ставится ли задача протестировать Tarantool вне сервисов, где он используется (есть выделенные хотя бы на время тестировщики, которые вот на таком количестве обезличенных тестовых данных, такой нагрузке, при такой внештатной ситуации - смотрят, как поведет себя БД) или проигрываются только пользовательские сценарии в рамках проекта (команда тестировщиков проекта проводит нагрузочное и автоматизированное тестирование, когда столько-то пользователей в Почте, отправили письма с таким-то содержимым и т.д.)
Не приводите аналогию, если у меня проект с PostgreSQL и ElasticSearch, то тестирую ли я их отдельно. Нет, конечно, это not invented here и проверено на множестве схожих проектов по всему миру, большинство косяков всплыло само таким образом. С другой стороны, в Postgres Professional бывают вакансии тестировщиков: там сама база тестируется, значит (?). Просто мне интересно, когда у компании нарисовалась внутренняя разработка X (не важно, закрытая или open source), планируются ли ресурсы для тестирования ее отдельно ото всех продуктов. Заранее спасибо

Comments

[sim3x]

Есть юнит тесты, функциональные тесты, интеграционные, нагрузочные и тд

О каких речь идет?

Answer 1

[Владимир Дубровин]

Tarantool это отдельный продукт с отдельным циклом разработки вообще и тестирования в частности, он не тестируется на каких-либо публичных продуктах Mail.Ru.

Насколько я вижу, в https://github.com/tarantool есть в том числе и функциональные тесты и бенчмарки.

Answer 2

[azShoo]

Короткий ответ: Да, тестируется.

Длинный ответ:
Команды, занимающиеся разработкой подобных инструментов - это всегда относительно независимая команда, существующая в своих циклах разработки, релизах и своем окружении.
Тестирование такого продукта может быть завязано на тех "клиентов", которые интегрировали у себя этот продукт (т.е. во время "внутреннего тестирования") учитываются юзкейсы внешних клиентов. Так работает тестирование любого продукта - тебе, прежде всего, необходимо гарантировать работу тех сценариев, которые задействованы твоими пользователями.
Тем не менее, продукт, вероятнее всего, будет тестироваться изолировано от внешних интеграций.