Бета тестирование что это
Бета-тестирование
Бе́та-тести́рование (англ. beta testing ) — интенсивное использование почти готовой версии продукта (как правило, программного или аппаратного обеспечения) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.
В отличие от альфа-тестирования, проводимого силами штатных разработчиков или тестировщиков, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта, которым доступна упомянутая предварительная версия продукта (так называемая бета-версия).
Такими добровольцами (их называют бета-тестерами) часто движет любопытство к новому продукту — любопытство, ради удовлетворения которого они вполне согласны мириться с возможностью испытать последствия ещё не найденных (а потому и не исправленных) ошибок. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и в итоге получать более удовлетворяющий их нужды продукт и многим другим.
Кроме того, открытие бета-тестирования может использоваться как часть стратегии продвижения продукта на рынок (например, бесплатная раздача бета-версий позволяет привлечь широкое внимание потребителей к окончательной дорогостоящей версии продукта), а также для получения предварительных отзывов о нём от широкого круга будущих пользователей.
Бета-версия не является финальной версией продукта, поэтому разработчик не гарантирует полного отсутствия ошибок, которые могут нарушить работу компьютера и/или привести к потере данных. Хотя и в финальных версиях таких гарантий разработчики, как правило, не дают.
Что такое альфа- и бета-версии
Иногда тестировщики — это мы с вами
Каждая программа перед тем, как попасть к пользователю, проходит несколько этапов тестирования. Но иногда пользователям могут быть доступны даже те версии, которые не протестированы до конца — и многие этому даже рады. Давайте разберёмся, как это работает.
Стадии тестирования и разработки софта
Если не углубляться в нюансы разработки и тестирования, то обычно говорят о пяти состояниях, в которых находится программа:
В теории софт должен пройти все стадии, прежде чем отправиться к пользователю. Но на практике бывает так, что люди годами могут пользоваться альфа-версией и это их устраивает. Или даже ждать выпуска преальфы, чтобы скорее воспользоваться новыми возможностями или получить эксклюзивный игровой контент. Всё зависит от целей и задачи программы (или игры).
Преальфа
Преальфа — это сырой продукт, не предназначенный для использования. На нём чаще всего тестируют гипотезы и убеждаются, что софт в принципе может работать.
Эта версия позволяет оценить выбранную архитектуру и подход к программированию, сравнить с планируемой нагрузкой и понять, идёт ли всё по плану или впереди будет гораздо сложнее. В преальфе много ошибок, заглушек и не предусмотренных тестами ситуаций.
Иногда преальфа нужна для того, чтобы показать клиентам или инвесторам, как вообще идут дела в компании. Например, в игровой индустрии ролики из преальфа-версии позволяют заранее прикинуть возможности графики в игре или понять, стоит вкладывать деньги в эту идею или она провалится в прокате.
Альфа
Когда программа доходит до стадии «альфа», то считается, что в ней реализованы все возможности, предусмотренные этой версией, и теперь нужно найти все ошибки.
Случается такое, что во время тестирования в программу добавляются или в ней сокращаются некоторые модули, чтобы снизить сложность или количество ошибок. Альфа-версия считается уже как бы рабочей, но очень сырой версией программы. По идее, ей уже можно пользоваться, но с поправкой на общую глючность.
Бывает такое, что программа в стадии альфа-версии может находиться годами: разработчики никуда не спешат и делают софт для себя. Или у них внезапно закончились деньги, а забрасывать программу жалко. Тогда они могут открыть эту версию для всех, но с оговоркой, что это альфа и что пользуемся на свой страх и риск.
Бета-версия — это уже серьёзно. Чаще всего это означает, что в ней исправлены почти все большие ошибки, но может остаться много мелких, которые ещё не нашли тестировщики.
Компания может выпустить бета-версию программы и для обычных пользователей. Например, она может давать к ней доступ в обмен на сообщения об ошибках — так пользователи раньше остальных получают новый продукт, а компания — бесплатных тестировщиков. Такой процесс тестирования называется открытым, потому что продукт открывается для всех желающих.
Ещё одна причина выпуска бета-версий в свет — желание компании уйти от ответственности за ошибки. Идея такая: компания говорит, мол, что это ещё не окончательная версия, поэтому в ней могут быть баги, которые ещё не отловили. Но на самом деле эту версию никто не будет дорабатывать до финала — в лучшем случае поправят пару заметных ошибок.
Релиз-кандидат
После бета-тестирования и исправления почти всех найденных ошибок, программа переходит в стадию релиз-кандидата. Это значит, что ей можно пользоваться как полноценной программой, но не факт, что тестировщики нашли все ошибки.
Если через 1–3 месяца полноценного использования и тестирования программы в ней не найдут никаких ошибок, программа переходит в стадию релиза.
Релиз-кандидат — это почти всегда та же самая программа, что и в релизе, просто разработчикам нужно убедиться, что она работает стабильно и без сбоёв.
Релиз
Релиз — это готовая версия программы, доступная для всех пользователей.
Релизом может быть и крупное обновление, например, новая версия Windows, а может быть и обновление с версии 1.5.234 на версию 1.5.235. Про то, что означают эти цифры и как они меняются, мы поговорим как-нибудь отдельно.
Бета-тестирование
Что такое бета-тестирование?
Зачем нам бета-тестирование?
Ниже приведены некоторые из причин, почему это важно для любого приложения:
Как работает бета-тестирование?
Будучи тестировщиком, очень важно понимать пошаговую процедуру того, как она выполняется в реальной среде, до фактического выпуска программных продуктов.
Шаг 1: Планирование
Шаг 2: Набор (Участники)
Выбор подходящих людей для бета-тестирования является очень важным этапом. Количество участников, участвующих в тестировании, варьируется от приложения к приложению и от бюджета проекта. Обычно компания нанимает от 50 до 100 бета-тестеров с различными доменами, чтобы они могли тестировать приложение в соответствии с их перспективой и помогают находить различные скрытые ошибки.
Шаг 3: Выпуск программного продукта
Программное обеспечение, которое необходимо протестировать, передается бета-тестерам для начала тестирования. Как правило, участникам отправляется ссылка, откуда они могут загрузить приложение или открыть его в браузере. Руководства пользователя и другие программные документы отправляются тестерам, чтобы они могли лучше понять приложение. Шаблоны регистрации ошибок также предоставляются тестировщикам для обеспечения согласованности всех зарегистрированных ошибок различными тестировщиками.
Шаг 4: Сбор и оценка отзывов
О дефектах, обнаруженных во время бета-тестирования, сообщают команде разработчиков для дальнейшей оценки и исправления, которые затем тестируются для команды QA перед патчем. Отзывы бета-тестеров собираются для улучшения приложения в соответствии с точкой зрения конечного пользователя. Предложения бета-тестеров собираются для улучшения в будущих выпусках.
Шаг 5: Закрытие
Бета-тестирование завершается после того, как все функции работают нормально, исправлены исправленные ошибки и приложение готово к выпуску на рынок для конечных пользователей. Решенные Стимулы и вознаграждения распределяются между бета-тестерами, и официальное закрытие тестирования проводится с обеих сторон, сохраняя хорошие отношения на будущее.
преимущества
Некоторые из преимуществ бета-тестирования приведены ниже:
Недостатки
Ниже приведены некоторые из недостатков бета-тестирования:
Вывод
говориМ о тестировании
простым языком
Виды тестирования по времени проведения
Кроме того, он может быть в принципе готов “выйти в свет”, но было бы неплохо посмотреть на него глазами конечных потребителей.
Именно это и послужило причиной деления тестирования на альфа и бета тестирование. По тому же принципу делятся и пользователи, которые проводят данные виды тестирования. Подробнее обо всем в статье.
Альфа и бета тестирование являются одной из форм приемочного тестирования. То есть ошибок на этом этапе тестирования уже быть не должно. Скорее наоборот, программа должна быть максимально рабочей и пригодной для использования.
Про уровни тестирования подробно говорили тут.
Альфа-тестирование
После подготовки отдельных модулей продукта, они объединяются в единое целое. Это еще не готовая версия, но она уже способна работать и выполняет свои основные задачи (иногда частично). Этот вариант программы и называют альфа-версией.
Альфа-тестирование (alpha testing) – это вид приемочного тестирования, которое обычно проводится на поздней стадии разработки продукта и включает имитацию реального использования продукта штатными разработчиками либо командой тестировщиков.
Обычно альфа тестирование заключается в систематической проверке всех функций программы с использованием техник тестирования «белого ящика» и «черного ящика» (подробнее о них тут).
Альфа-тестирование является методологией оценки качества и стабильности тестируемого продукта в тестовой среде.
На этом этапе основное внимание уделяется:
— Обнаружению ошибок,
— Вопросам по юзабилити,
— Различию в характеристиках,
— Проблемам совместимости/взаимодействия.
Фазы альфа-тестирования:
Альфа-тест обычно происходит в циклах, каждый из которых будет составлять примерно 1-2 недели. Количество циклов зависит от функций, включенных для тестирования, и количества проблем, обнаруженных на этом этапе тестирования.
Критерии входа:
Критерии выхода:
Преимущества альфа-тестирования:
Недостатки альфа-тестирования:
Бета-тестирование
По окончании работы с альфа-версией выпускается бета-версия. Она представляет собой реально работающую версию программы с полным функционалом.
Бета-тестирование (beta testing) – интенсивное использование почти готовой версии продукта с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.
Бета-тестирование представляет собой реально работающую версию программы с полным функционалом.
Задача бета-тестов – оценить возможности и стабильность работы программы с точки зрения ее будущих пользователей. Поэтому, в отличие от альфа-тестирования, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта.
Такими добровольцами ( бета-тестерами) часто движет любопытство к новому продукту. Они вполне согласны мириться с возможностью столкнуться с ошибками. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и получить более подходящий им продукт.
Будет плюсом, если это люди, которые уже имеют опыт работы с программами такого типа, а еще лучше – с предыдущей версией этой же программы. Обычно у компаний уже есть определенный круг лиц, с которыми они постоянно сотрудничают.
Надо сказать, что разработчики не испытывают недостатка в желающих принять участие в такой работе. Многие люди хотят попасть в закрытую группу, первыми узнать о новых функциях продукта, пользоваться тем, чего нет в свободном доступе.
Наглядный пример набора бета-тестировщиков — социальная сеть Яндекс.Аура. Создатели сделали ограниченный доступ по ссылкам. Таким образом, в первые дни они набрали достаточное количество пользователей для первых тестов и закрыли набор. То есть каждый пользователь чувствовал себя там уникальным и с радостью помогал тестировать новый продукт. Продукт, к которому нет доступа больше ни у кого.
Кстати, этим пользователям еще присвоили особенные “метки”, которые говорят о том, что они первопроходцы. Это тоже отличный стимул быть тем самым первым пользователем.
Разные компании выполняют бета-тестирование по-разному. Есть 2 вида бета-тестирования:
Преимущества бета-тестирования:
Недостатки бета-тестирования:
Гамма-тестирование
Часть авторов (например, Святослав Куликов в своем учебнике “Тестирование программного обеспечения.Базовый курс”) еще выделяют третий вид тестирования — гамма-тестирование.
Гамма-тестирование (gamma testing) — финальная стадия тестирования перед выпуском продукта, направленная на исправление незначительных дефектов, обнаруженных в бета-тестировании.
Как правило, также выполняется с максимальным привлечением конечных пользователей/заказчиков. Суть этого вида вкратце: продукт уже почти готов, и сейчас обратная связь от реальных пользователей используется для устранения последних недоработок.
Стоит отметить, что, обычно, тестирование все же делят на альфа и бета без упоминания о гамма-тестировании.
Альфа и бета. В чем отличия?
Как видите, альфа и бета тестирование имеют разные цели и задачи. У каждого из них есть свои плюсы и минусы. Конечно, будет неплохо использовать оба этих метода, так как они приносят свои «плоды». Но это не всегда возможно и финансово обосновано.
Очень часто бета-тестирование практикуется в игровой сфере. Все же один из основных плюсов бета-тестирования — понимание того, нужен ли аудитории наш продукт и стоит ли его выпускать в релиз.
Как принять участи в тестировании новых приложений на Android
Некоторые разработчики позволяют использовать новые приложения или функции, прежде чем они станут общедоступными. Это позволяет им собирать необходимые информацию и отзывы. Такие приложения и функции, вы можете попробовать в рамках программы раннего доступа или бета-тестирования.
Важно: помните, что работа таких приложений может быть менее стабильной, чем у более поздних версий. Это означает, что вы можете столкнуться со сбоем, а некоторые функции могут не работать должным образом.
Тестирование бета-версий в Google Play
Как попробовать приложения в программе раннего доступа
Приложения в программе раннего доступа – это такие, которые ещё не опубликованы.
Для того, чтобы найти такую программу и опробовать её:
Как попробовать приложения в бета-версии
Приложения в бета-версии это те, которые уже находятся в Google Play, но у них есть экспериментальные функции. Такие версии приложений могут иметь функции, которые не доступны в стабильных версиях.
Чтобы иметь возможность использовать приложение в бета-версии, нужно сначала установить публичную версию.
Чтобы проверить, имеет ли приложение бета-версию:
Ограничения раннего доступа и бета-тестирования
В случае, если в приложении действует ограничение на количество пользователей, которые могут принять участие в программах раннего доступа и бета-тестирования, если он был достигнут, появляется сообщение, информирующее об этом.
Возможно, вы сможете присоединиться к программе позже, когда часть тестеров откажется от участия или программист увеличит допустимое количество пользователей.
Просмотр установленных бета-приложений
Чтобы увидеть список установленных приложений в тестовых версиях:
Выход из программы бета-тестирования
Если вы хотите использовать серийную версию приложения, вы должны отказаться от участия в программе бета-тестирования, удалить приложение, а потом снова установить рабочую версию.
Когда вы выйдете из программы и удалите приложение в бета-версии, вы потеряете данные о прогрессе и любые изменения в этом приложении.
Чтобы выйти из программы бета-тестирования:
Примечание: если вы откажетесь от программы предварительного доступа или бета-тестирования, ваше место освободится и его может занять кто-то другой. Нет никакой гарантии, что позже вы сможете вернуться к программе.
Ваши отзывы для разработчиков
Разработчикам очень важно получать отзывы о неопубликованных приложениях и бета-версиях функций.
Чтобы отправить отзыв:
Примечание: если вы используете приложение в программе раннего доступа или бета-версию, вы не сможете публиковать о нём публичных отзывов в Play Store.