Планирование тестирования. Стадии тестирования

Закончил таки курс "Введение в функциональное тестирование". Довольно нудный получился курс лекций, который базируется на ISTQB.

Выдержки из последней лекции.

Планирование тестирования. Стадии тестирования

Стадии тестирования

"Тестирование начинается не раньше появления первой сформированной документации." - довольно спорное утверждение. Т.к. существуют проекты без документации. Это видимо для новых проектов или для сферических теоретиков в вакууме.

Стадии:

1. Разработка тестовых требований
2. Разработка тест-кейсов
3. Выполнение смоук тестирования
4. Тестирование функционала
5. Регрессионное тестирование
6. Отчетность

Рекомендуемая последовательность проведения тестов:

• ознакомление с системой, исследовательское тестирование (анализ спека, UI, основной функционал)
• базовый тест (есть тестовая версия продукта, исследовательское и смоук тестирование)
• выявление зависимостей между данными (анализ тенденций) (какие типы данных должен обрабатывать продукт, какими способами взаимодействуют друг с другом различные типы данных, классы эквивалентности данных и граничные значения, какими должны быть итоги сложных вычислений, диапазон конечных вычислений для заложенных в систему логик)
• тестирование для различных категорий данных (написание и исполнение тест-кейсов)
• граничные оценки
• тестирование на ошибочных данных
• попытка «сломать» систему
• регрессионное тестирование

Планирование тестирования:

• Определение объема, рисков и целей тестирования.
• Определение общего подхода к тестированию, включая уровни тестирования и критерии выхода.
• Интегрирование и координация действия тестирования с жизненным циклом ПО.
• Что тестировать, роли, когда и как проводить тестирование и как оценивать результаты.
• Составление расписания анализа и проектирования тестов.
• Составление расписания подготовки, исполнения и оценки тестов.
• Назначение ресурсов для различных, определенных ранее действий.
• Определение размера, уровня детализации структуры и шаблонов для тестовой документации.
• Выбор метрик для мониторинга, контроля подготовки и проведения тестирования, исправления дефектов, проблем и рисков.
• Установка детализации для тестовых процедур для предоставления достаточной информации, чтобы поддерживать повторяемость подготовки и проведения тестирования.

Критерии входа:

• готовность и доступность тестового окружения
• готовность средств тестирования в окружении
• доступность тестируемого кода
• доступность тестовых данных

Критерии выхода:

• устойчивая работа системы
• время и/или другие ресурсы исчерпаны
• руководство или клиент теряют терпение
• все тесты, предусмотренные планом, проходят без ошибок
• найденные ошибки исправлены
• регрессионное тестирование проходит без ошибок
• число найденных ошибок соответствует ожидаемому

Оценка трудозатрат

Подходы:

• Основанный на метриках предыдущих или сходных проектов, или основан на типичных значениях.
• Основанный на экспертной оценке владельцем задач или экспертом.

Мониторинг процесса тестирования (тестовые метрики):

• Процент проделанной работы по подготовке тесовых сценариев (или процентное соотношение запланированных и подготовленных сценариев).
• Процент проделанной работы по подготовке тестового окружения.
• Выполнение тестовых сценариев (выполненных/невыполненных, успешно пройденых/неудачных)
• Информация о дефектах (плотность, количество найденных и исправленных, интенсивность отказов и результаты повторного тестирования).
• Тестовое покрытие требований, рисков, кода.
• Даты контрольных точек.
• Стоимость.

Отчетность

Итоговый отчет о тестировании включает:

• Что происходило во время цикла тестирования.
• Проанализированную информацию и метрики для поддержки рекомендаций и решений о последующих действиях (оценка оставшихся дефектов, экономическое обоснование дальнейшего тестирования, оставшиеся риски и уровень уверенности в продукте).

Риски: 

1. Влияют на способность проекта достигнуть его целей.
2. Потенциальная области сбоя (неблагоприятные будущие события или опасность) в ПО или системе, т.к. они подвергают риску качество продукта. 

Риски проекта

        Организационные факторы:

• Недостаток квалификации, подготовки сотрудников
• Личные проблемы сотрудников
• Политические проблемы (тестировщики в недостаточной мере сообщают о проблемах и результатах тестирования; неспособность следовать информации, полученной во время тестирования)
• Неверное отношение к тестированию.

        Технические проблемы:

• Проблемы в определении верных требований.
• Объем при котором требования не могут соответствовать заданным ограничениям.
• Вовремя не готово тестовое окружение.
• Позднее преобразование тестовых данных, планирование миграции и разработки тестовых данных и средств преобразования/миграции тестовых данных.
• Низкое качество проектирования, кода, конфигурационных и тесовых данных и тестов.

        Проблемы поставщика:

• Отказ третьей стороны
• Проблемы контракта

План тестирования:

• Введение
• Описание целей документа
• Цель 
• Причина
• Перечень источников информации
• Ссылки на другие документы
• Объект
• Перечень тестируемых систем, подсистем, компонентов.
• Основные функции.
• Структурная схема.
• Список систем интеграционного стенда.
• Список используемых эмуляторов.
• Обоснование необходимости разработки эмуляторов.
• Стратегия
• Виды тестирования (цель Т, точки тестовых воздействий и контроля результата, список тесовых операций, критерии завершения Т, дополнительная информация)
• Тестируемая функциональность с приоритетами
• Ограничения тестирования
• Риски тестирования
• Особые условия тестирования
• Критерии окончания тестирования (опционально)
• Ограничения
• Техника
• Планируемые результаты
• Ресурсы
• Аппаратные и человеческие
• ПО и прочее
• Требования к тестированию

Метрики тестирования

Метрика – метод численного выражения качества или достижения поставленных целей в каком-либо процессе.

Виды метрик:

• Измеримые 
• Субъективные
• Финальные
• Косвенные