Андрей Никулин: «Тестирование приложений – это как огранка алмазов»

Фото: предоставлено героем публикации

Являясь одним из успешных инженеров по обеспечению качества в России, Андрей Никулин разработал и внедрил уникальные методики, которые позволяют инженерам по тестированию эффективнее предотвращать и обнаруживать критические дефекты в приложениях. Для бизнеса эти методики помогают сэкономить деньги, сокращая время, которое раньше тратилось на излишнее тестирование, и ускоряя вывод продукта на рынок, что позволяет пользователям быстрее получить новые фичи и компании быстрее начать получать прибыль. Методики были опубликованы в авторитетных научных журналах, включенных в перечень ВАК и получили широкое признание в научной и ИТ-сферах.

- Андрей, вы придумали, разработали и внедрили известные методики для повышения качества продукта в различные проекты. Расскажите об этом, как это происходило.

- Я действительно долгое время работал над несколькими основными методиками: “Разработка методики выявления слепых зон при тестировании программного обеспечения” и “Методика демонстрации полезных функций серверных инструментов для эффективного тестирования приложений”. Началось всё с того, что были выявлены ключевые проблемы, с которыми сталкивается большинство инженеров по обеспечению качества в ИT- сфере: наличие слепых зон при тестировании и неэффективное использование серверных инструментов для тестирования приложений.

Был проведён анализ существующих решений, способных устранить эти недостатки, однако подходящих вариантов не нашлось. В результате было принято решение разработать собственные методики, направленные на решение выявленных проблем.

Широкий анализ позволил сформировать набор предварительных решений, которые впоследствии внедрялись в процессы обеспечения качества на различных проектах, включая направления EdTech, GeoTech и другие. Перед внедрением фиксировались ключевые метрики, после чего решения интегрировались в процессы, и показатели измерялись повторно. Сравнительный анализ результатов “до” и “после” показал значительное повышение эффективности методик в несколько раз. Это позволило сократить затраты на избыточное тестирование, ускорить вывод продукта на рынок и увеличить прибыль бизнеса.

- Благодаря разработанной Вами методике теперь при тестировании backend-задач удастся сократить время выполнения на 50% и увеличить количество обнаруженных дефектов на 150%. Это значительный результат особенно в такой сфере, как обеспечение качества продукта. Расскажите рассчитывали ли до разработки методики на такой высокий результат?

- На начальных этапах было сложно что-то точно спрогнозировать, но, опираясь на опыт и предварительные данные, планировалось создать методику, которая позволила бы максимально повысить эффективность при тестировании backend-задач. Да и финальные показатели были действительно значительными для нас.

Уверен что такие высокие результаты стали возможны благодаря правильно выбранной стратегии, тщательной подготовке сотрудников и регулярной коммуникации между командами тестирования, участвовавшими в эксперименте. Это позволило своевременно обмениваться обратной связью и оперативно вносить необходимые правки.

- В вашей более ранней, но не менее успешной методике, направленной на снижение появления ошибок и дефектов, начиная от самых критичных и заканчивая менее значимыми, вы продемонстрировали существенные показатели эффективности, расскажите про эту методику?

- Я использовал разработанный мною уникальный подход, который сочетал анализ уже исправленных ошибок и дефектов для выявления слепых зон или другими словами скрытых проблем, которые могут не быть обнаружены при обычном тестировании приложений. Было важно составить список уже исправленных ошибок и дефектов приложения, так как если бы мы также включали открытые тикеты, могли бы возникнуть проблемы, например: ошибка или баг не воспроизводятся или дублируются. Такой подход позволил сосредоточиться исключительно на реальных, подтверждённых проблемах. Затем для каждого такого тикета проводилось детальное исследование, в ходе которого выявлялась причина его возникновения и разрабатывались методы предотвращения повторения аналогичных ошибок или дефектов в будущем. Причины могли заключаться не только в процессе тестирования, но и в других этапах разработки. Разработанные меры по недопущению ошибок интегрировались в рабочие процессы как улучшения, и, спустя несколько итераций их внедрения, было зафиксировано существенное снижение числа ошибок и дефектов в приложениях.

- С какими сложностями Вы столкнулись при формировании методик?

- Основные сложности заключались в том, что сначала необходимо было тщательно проанализировать большое количество существующих подходов и решений, которые могли бы потенциально решить выявленные проблемы. Однако более глубокий анализ показал, что эти подходы и решения не всегда эффективно справлялись с задачами или вовсе не решали выявленные проблемы.

Также была необходимость многократной проверки поставленных гипотез, пока не определится самая эффективная из них. Это включало тестирование разных вариантов, анализ результатов и корректировку подходов по мере получения новой информации. Иногда нужно было возвращаться к предыдущим гипотезам и изменять их с учетом новых данных, чтобы убедиться, что методика работает на практике.

- Андрей, правильно ли я понимаю, что 90% разработки и внедрением методик занимались лично Вы?

- Верно. В процессе разработки и внедрения методик основную роль действительно играл я. Я был непосредственно вовлечен в каждый этап, начиная с анализа существующих проблем и создания концептуальной основы методик, заканчивая их тестированием и оптимизацией. Большую часть времени я также уделял внедрению этих методик в рабочие процессы, включая обучение сотрудников и адаптацию команды к новым подходам.

Отдельно хотел бы выразить благодарность коллегам, в том числе тестировщикам, которые принимали активное участие в эксперименте, а также различные ИТ- отделы и научные сотрудники, с которыми было очень важно держать эффективную коммуникацию. Взаимодействие с ними сыграло важную роль в успешной реализации методик.

- Кроме ИТ- сообщества, у вас также есть большое признание в научном сообществе от профессоров, рецензентов и других деятелей из научной сферы. Как вам удалось наладить такие профессиональные контакты?

- Мое знакомство с научной сферой началось еще во времена учебы в магистратуре ИТМО. Университет и преподаватели дали мне прочную базу знаний, которую я активно использовал для научных исследований, написания статей и разработки дипломной работы. Это стало хорошей отправной точкой для начала моей научной деятельности. Со временем я опубликовал ряд научных статей, участвовал в конференциях и активно вел обсуждения на различных платформах. Эти контакты позволили мне регулярно участвовать в научных проектах и предлагать новые подходы к решению проблем, которые затем находят применение в работах других научных сотрудников. Благодаря таким взаимодействиям мой вклад в научное сообщество продолжает расти, и я всегда открыт для дальнейших коллабораций и обмена опытом.

- Ваши методики опубликованы в журналах, рекомендованных ВАК. Как вы оцениваете сложность публикации в таких изданиях?

- Публикация в журналах, рекомендованных ВАК, действительно может быть сложным процессом. Основная трудность это двойное слепое рецензирование, когда ни автор, ни рецензент не знают друг о друге. Это помогает обеспечить объективность, но иногда рецензенты могут попросить внести существенные правки. Этот процесс можно назвать "пинг-понг", когда статья возвращается на доработку, и каждую правку снова необходимо проверять, что может затянуть весь процесс. Тем не менее, такие этапы помогают улучшить качество статьи, и хотя это может занять время, итоговый результат обычно оправдывает усилия.

Кроме того, важно отметить, что процесс публикации в таких журналах часто требует тщательной проработки самой статьи. Нужно не только правильно оформить материалы, но и продемонстрировать научную новизну, актуальность темы, цель и результаты.

Вашими методики удалось использовать как для ИТ- сферы, так и для научной. Это говорит о выдающемся результате. Как Вы оцениваете свой успех?

- Мне кажется, что при решении задач в ИТ важно опираться на научную базу, поскольку это позволяет достигать более эффективных и устойчивых результатов. Когда научные подходы интегрируются в практическую работу, это не только повышает качество решения, но и способствует тому, чтобы исследования и методики могли использоваться как основа для дальнейших научных работ. Таким образом, связь между ИТ и наукой позволяет вносить вклад как в развитие технологий, так и в развитие научного подхода.

- Напоследок хочу задать немного необычный вопрос: с чем, помимо ИТ- сферы, вы бы могли сравнить процесс обеспечения качества или тестирования? Какие советы и пожелания Вы бы дали тем, кто только начинает свой путь в этой профессии или научной сфере?

- Мне кажется, что тестирование приложений - это как огранка алмазов. Алмаз в своей первоначальной форме тоже красив и имеет ценность, но именно огранка позволяет раскрыть его истинную красоту и максимальную ценность. То же самое с продуктом: даже без тестирования он может быть использован пользователями, и они могут получить некоторую ценность от его использования. Однако, когда продукт проходит тщательное тестирование, это позволяет устранить дефекты, улучшить его функциональность и повысить удобство, как огранка делает алмаз ярче и привлекательнее. В конечном итоге, как ограненный алмаз приносит больше удовольствия своему владельцу, так и протестированный продукт приносит пользователю больше пользы и удовольствия от использования.

Мой главный совет тем, кто только начинает карьеру в обеспечении качества продукта - это постоянно пробовать новое и сохранять любопытство. Всегда задавайте себе вопрос "А что будет, если…?" это особенно помогает при поиске дефектов в приложениях. ИТ-сфера постоянно меняется, поэтому важно быть открытым к новым технологиям, инструментам и подходам. Старайтесь понимать, почему что-то работает, а что-то нет. Задавайте вопросы, ищите решения, даже если они кажутся сложными. Практика играет ключевую роль, ведь теоретические знания без реального опыта имеют ограниченную ценность.

В научной среде важно делиться знаниями с другими, обсуждать идеи и работать вместе. Когда вы, открыто, обмениваетесь опытом, проще находить новые подходы и вместе решать сложные задачи.