Как написать программу и методику испытаний (ПМИ)

Программа и методика испытаний - документ, в котором заранее записано, что и как будет проверяться при приемке системы. Для программ его структуру задает ГОСТ 19.301-79, для автоматизированных систем действуют правила комплекса ГОСТ 34. Основа документа - таблица проверок с шагами и ожидаемыми результатами.

Как написать программу и методику испытаний (ПМИ)
Содержание
  1. Что такое программа и методика испытаний
  2. Какие стандарты описывают ПМИ
  3. Структура программы и методики испытаний
  4. Как писать методику: проверки по шагам
  5. Нефункциональные требования и нагрузка
  6. Порядок проведения испытаний и оформление результатов
  7. Место ПМИ среди других этапов
  8. Типичные ошибки при написании
  9. Частые вопросы

Что такое программа и методика испытаний

Программа и методика испытаний, сокращенно ПМИ, - документ, который заранее отвечает на два вопроса: что именно будут проверять и как. Программа задает объем проверок, условия и порядок, методика описывает конкретные приемы: какие действия выполнить, какие данные подать, какого результата ждать.

ПМИ пишут до испытаний, а не после. Заказчик и исполнитель согласуют ее и подписывают, а затем проводят проверки строго по документу. Результаты фиксируются в протоколах, на которые ссылается акт приемки. Если системы нет в ПМИ, ее функции формально не проверялись.

Хорошая методика испытаний снимает споры. Когда критерии успеха записаны заранее, приемка превращается в проверку списка, а не в обсуждение того, что считать нормой.

Какие стандарты описывают ПМИ

Для программ требования к содержанию и оформлению дает ГОСТ 19.301-79. Для автоматизированных систем виды испытаний и общие правила описаны в комплексе ГОСТ 34, а состав документов при создании системы - в ГОСТ 34.201-89. Виды испытаний в новых стандартах уточняются, подробно об этом в материале о ГОСТ Р 59792-2021.

На сайте лежат заготовки: шаблон программы и методики испытаний по ГОСТ 19 и шаблон программы и методик испытаний по ГОСТ 34. Протоколы, которые оформляют по результатам проверок, готовят по шаблону шаблон протокола испытаний.

СтандартК чему относитсяНазвание документа
ГОСТ 19.301-79Программы и программные продуктыПрограмма и методика испытаний
ГОСТ 34 (комплекс)Автоматизированные системыПрограмма и методика испытаний, программы испытаний разных видов
ГОСТ Р 59792-2021Виды испытаний автоматизированных системОпределяет виды проверок, к которым привязывают программы

Структура программы и методики испытаний

Структура по ГОСТ 19.301-79 простая: объект испытаний, цель, требования к программе и документации, средства и порядок испытаний, методы. Ее применяют и для систем, добавляя разделы о тестовых данных и материально-техническом обеспечении.

Структура программы и методики испытаний: основной объем занимают методы испытаний.
Структура программы и методики испытаний: основной объем занимают методы испытаний.
РазделЧто в нем писатьПример для системы "Учет заявок"
Объект испытанийНаименование, обозначение, область примененияИнформационная система "Учет заявок", версия 1.4
Цель испытанийЧто должно быть подтвержденоПодтвердить соответствие системы требованиям технического задания
Требования к программеПеречень проверяемых функций и характеристик со ссылками на ТЗСоздание, назначение и закрытие заявки, формирование отчета
Требования к документацииКакие документы проверяют на соответствиеРуководство пользователя, руководство администратора
Средства и порядок испытанийОборудование, программы, данные, стенд, кто и когда проводитТестовый стенд, тестовые учетные записи, комиссия из трех человек
Методы испытанийПошаговые проверки с ожидаемыми результатамиТаблица тестов с шагами и критериями

Структуру можно расширить: добавить введение, перечень документов-оснований, приложения с тестовыми данными. Лишнего не добавляйте, документ должен оставаться рабочим инструментом комиссии.

Как писать методику: проверки по шагам

Основную ценность ПМИ составляет раздел методов. Каждая проверка описывается так, чтобы ее выполнил человек, не участвовавший в разработке, и получил тот же результат.

  1. Возьмите перечень требований из технического задания и разложите его на проверяемые пункты. Один пункт - одна проверяемая возможность.
  2. Для каждого пункта определите условие: на каком стенде, под какой учетной записью, с какими данными.
  3. Опишите шаги: откройте раздел, введите значения, нажмите кнопку. Формулируйте так же, как в руководстве пользователя.
  4. Укажите ожидаемый результат так, чтобы его можно было сверить: появилось сообщение, запись попала в список, статус изменился.
  5. Добавьте критерий успеха и порядок действий при расхождении.
  6. Свяжите каждую проверку с пунктом ТЗ, чтобы стало видно, что все требования покрыты.

Хорошо работает таблица, где каждая строка - одна проверка. Ее удобно читать комиссии и легко переносить в протокол.

НомерПроверкаШагиОжидаемый результатПункт ТЗ
1Создание заявкиОткрыть раздел "Заявки", нажать "Создать заявку", заполнить тему, сохранитьЗаявка появилась в списке со статусом "Новая"3.1.1
2Назначение исполнителяОткрыть заявку, выбрать исполнителя, сохранитьИсполнитель получил уведомление, статус "В работе"3.1.2
3Недоступность раздела без правВойти под ролью "Сотрудник", открыть раздел администрированияПоказано сообщение "Нет доступа"3.4.1

Нефункциональные требования и нагрузка

Функции проверить относительно просто, сложнее с требованиями к скорости, надежности и безопасности. Для них в ПМИ нужны измеримые условия: сколько пользователей, какой набор данных, какое время отклика считается нормой.

  • Производительность: нагрузка в процентах от расчетной, число одновременных пользователей, допустимое время ответа.
  • Надежность: время восстановления после остановки сервиса, проверка резервного копирования.
  • Безопасность: проверка прав доступа, блокировка при неудачных входах, журналирование действий.
  • Совместимость: перечень браузеров и операционных систем, которые проверяют.

Как отличить такие требования от функциональных и как их формулировать, написано в статье о функциональных и нефункциональных требованиях. Чтобы заранее проверить, что в техническом задании всё есть, используйте чек-лист технического задания.

Порядок проведения испытаний и оформление результатов

Сама программа определяет, кто проводит испытания, в какие сроки и на каком оборудовании. Обычно создают комиссию из представителей заказчика и исполнителя. Она проходит проверки по таблице, фиксирует результат и подписывает протокол.

Если проверка не пройдена, замечание записывают в протокол с описанием проявления и ссылкой на пункт. После исправления проверку повторяют, об этом в ПМИ тоже стоит написать: сколько повторов допускается и как фиксируются изменения.

  • Результаты каждой проверки заносят в протокол сразу, а не по памяти.
  • Скриншоты и журналы прикладывают к протоколу как подтверждение.
  • По итогам подводят отчет: сколько проверок выполнено и какие замечания остались.
  • На основании протоколов готовят акт приемки: смотрите как составить акт приемки работ.

Место ПМИ среди других этапов

ПМИ связывает требования и приемку. Она опирается на техническое задание, ссылается на эксплуатационную документацию и служит основой для протоколов и акта. Если проект идет поэтапно, программ испытаний может быть несколько: предварительные, приемочные, а в опытной эксплуатации - отдельная программа.

Порядок ввода системы в работу и связанные документы описаны в статье об опытной эксплуатации. Для начала работы с автоматизированной системой полезно знать, как она соотносится со стадиями проекта, см. ГОСТ Р 59793-2021.

Не откладывайте ПМИ на конец проекта. Составьте ее черновик, когда утверждено ТЗ: на этом этапе вы увидите непроверяемые требования и успеете их переформулировать.

Типичные ошибки при написании

Слабая методика проверяется на первом же испытании: комиссия спорит о том, что имелось в виду. Чтобы этого избежать, проверьте документ по списку.

  • Требования ТЗ не разложены на проверки, часть функций не покрыта.
  • Ожидаемый результат описан расплывчато: "система работает корректно".
  • Не указаны стенд, тестовые данные и учетные записи, поэтому проверку нельзя повторить.
  • Нет порядка действий при расхождении результатов и повторных испытаний.
  • В ПМИ включены проверки, которых нет в ТЗ, и заказчик вправе требовать их выполнения.
  • Документ не согласован с заказчиком до начала испытаний.

Пока документ согласовывается, проверьте оформление: титульный лист, лист утверждения и нумерацию. Правила оформления собраны в материале об оформлении по ГОСТ 2.105-2019.

Частые вопросы

Чем программа испытаний отличается от методики?

Программа определяет объем, условия и порядок испытаний: что проверять, на каком стенде, кто участвует. Методика описывает сами проверки: шаги и ожидаемые результаты. В одном документе их обычно объединяют.

Когда нужна программа и методика приемочных испытаний?

Перед приемкой системы заказчиком. Документ согласовывают заранее, по нему комиссия проверяет соответствие техническому заданию и фиксирует результат в протоколах.

Кто пишет ПМИ?

Обычно аналитик или специалист по тестированию вместе с техническим писателем. Содержание проверяет разработчик, а согласует заказчик, потому что документ определяет критерии приемки.

Сколько должно быть проверок в методике?

Столько, сколько нужно, чтобы покрыть все требования технического задания. Для небольшой системы это 20-50 проверок, для сложной значительно больше. Ориентируйтесь на полноту, а не на объем.

Что делать, если проверка не пройдена?

Замечание записывают в протокол, исполнитель исправляет ошибку, затем проверку повторяют. Порядок повторных испытаний лучше указать в самой ПМИ, чтобы не договариваться об этом в процессе.

Читайте также