Лично мне SQA Days #15 очень понравилась: профессиональная атмосфера, полезное содержание докладов, отличная фан-зона (особенно громкая виртуальная реальность, заставляющая дрожать коленки)!
Несколькими статьями пройдусь по самому, на мой взгляд, полезному и интересному из того, что услышала, как восприняла, сопровождая информацию где-то своими комментариями Начну с темы мобильных приложений, кроссплатформенного и кроссбраузерного тестирования и конкретно следующих докладов:
- Наташа Брич “Непереносимая переносимость кроссплатформенных приложений на примере десктоп приложений”
- Юлия Горлова “Лайхаки ручного тестирования на мобилках”
- Таисия Рыбак “Как оптимизировать тестирование мобильных приложений”
- Алёна Пономаренко “Ошибки при проверке внутренних платежей Android-iOS и их решение”
- Максим Белявский “Подготовка апдейта мобильного приложения “Одноклассники”
- Дмитрий Штепура “Кроссбраузерное тестирование с популяризацией HTML5 и CSS3. Internet Explorer, не такой как все”
Наташа Брич “Непереносимая переносимость кроссплатформенных приложений на примере десктоп приложений”
| Задача тестирования | Что включает в себя | Где проводить тесты? Как сэкономить время? |
| Инсталяционное тестирование | Проверку ресурсовЗапуск инсталляционного пакетаТестирование мастера установки
Список файлов Проверка прав доступа к файловой системе Регистрация расширений (windows) Деинсталляция приложения … |
Время на этой задаче не экономится. Проводится весь набор тестов на всех платформах |
| Тестирование интерфейса | Проверяется расположение всех элементов | Проводится на всех ОС.Время экономится за счет совмещения с функциональным тестированием. |
| Функциональное тестирование | 1. В первую очередь тестируется основная платформа1:
a) Прогоняют все use cases b) Проводят негативные проверки на невалидный ввод данных c) Воспроизводят старые ошибки 2. Формируется список багов (список1) найденных на платформе1. 3. Проверяют платформу2: a) На платформе2 проверяют непрошедшие тесты, т.е. воспроизведениние багов из списка1. b) Прогоняют все use cases (кроме тех, что проверены в пункте 3.a). c) Проводят негативные проверки на невалидный ввод данных (кроме тех, что проверены в пункте 3.a) d) Воспроизводят старые ошибки (кроме тех, что проверены в пункте 3.a) 4. Формируется еще один список багов (список2), найденных только уже на платформе2 (по шагам 3.b, 3.c, 3.d). 5. На платформе1 проверяется наличие багов, найденных на платформе2 (т.е. из списка2) |
На первой ОС проводится полное тестирование.Время экономится на второй и последующих ОС, где в первую очередь проверяются непрошедшие ранее тесты. |
| Регрессионное тестирование | проведение смоукперепроверку багов с высшей критичностью и приоритетом | Проводится перед релизом на всех заявленных ОС. |
Видео и слайды презентации можно будет найти на соответствующей страничке конференции.
Юлия Горлова “Лайхаки ручного тестирования на мобилках”
Отличный легкий доклад и отличный докладчик! Юля дала простые и хорошие советы по нескольким темам.
Администрирование девайсов:
- В парк выбирайте:
- не менее двух устройств на каждую существенно отличающуюся версию операционки.
- плюс девайсы, на которых были замечены какие-то специфические проблемы
- плюс устройства, которые сами по себе чем-то примечательны – популярные модели, планшеты и так далее.
- Каждый тестировщик, когда собирается идти домой,ставит все телефоны, с которыми он работает, на зарядку, т.о. гарантируют рабочее состояние каждого из телефонов.
- Создайте стойку для хранения девайсов, на которую “привиты” куча зарядок и больше ничего лишнего.
- Ведите электронную таблицу, в которой перечислены все ваши устройства и их технические характеристики (название модели, размер экрана, количество памяти, процессор, установленная ОС, идентификатор телефона и т.п.). Здесь помечают, если телефон взяли в другой отдел.
- Для “быстрых займов” девайсов, ведите бумажный журнал, в котором, как на вахте пусть записываются те, кто взял девайс, какой девайс и когда. Как показала практика, этот вариант более рабочий, чем электронный, ссылку на который часто лень или некогда или забывают искать.
- Вместо красивых обоев с природой и котиками на рабочем столе телефона используйте белый фон с надписью о типе девайса и ОС. Это начнет экономить время на поиск нужного девайса.
Управление билдами:
- Т.к. пользователи любят нативный дизайн, то для каждой из платформ разрабатывается свое приложение, а не одно единственное кроссплатформенное.
- Для каждой платформы используют разных билд-серверы, чтобы если вдруг один сервер сломается, то была возможность проверять другую платформу.
- Билды устанавлиют через QR коды, ведущие на инсталяк билда. Это экономит время.
Сбалансированное тестирование:
- В этой секции были сделаны примеры конкретно для приложения 2ГИС, но в целом это довольно общие вещи:
- Фичу нужно тестировать параллельно на двух платформах.
- Для Android планировать тесты на расход батареи.
- Для Android из-за миллиона экранов пришлось что то придумывать (в 2ГИС разработали стандартные темы).
- Android. Проверки всех сборок одного и того же билда, созданные под разных вендоров, включают проверки на запуск и различия (метки вендоров и WebAPI-ключи).
- На iPad делают сессии свободного тестирования, в которых проверяют вёрстку и особенно при поворотах экранов.
- iOS. Когда истекают сроки, то сначала отправляют билд в AppStore, а потом проводят регрессионные тесты. Если найдется баг, то перезаливают. Мы делаем также. Очень рабочая схема.
- iOS. Если очень-очень нужно выпустить вчера, то пишут письмо в AppStore и чаще всего на подобного рода письма откликаются положительно.
Бета-тестирование.
На Android ребята опробовали схемуофициальную схему бета-тестирования через Google comunities и Google Play. По сути, тем кто зарегистирировался в гуглгруппе стало доступно скачивание более новой версии. И эти ребята смогли написать в 2ГИС спецефические проблемы, обнаруженные на своих девайсах.
Текущая поддержка:
- Самый главные посыл – это постоянно отслеживать комментарии к приложениям на соответствующих рынках. Если что-то не так, то пользователи сразу же об этом напишут.
- Ну а также встраивать формы обратной связи в само приложение. При этом письма в отдел поддержки должны приходить сразу со всей технической и отладочной информацией о девайсе (модель, ОС, экран, процессор, текущий тип связи и т.п.)
Видео и слайды презентации можно будет найти на соответствующей страничке конференции.
Таисия Рыбак “Как оптимизировать тестирование мобильных приложений”
Таисия – представитель Hewlett-Packard и посему рассказывала о новом облачном решении от HP для тестирования мобильных приложений на реальных девайсах – HP UFT MOBILE (HP Unified Functional Testing Mobile). Собственно, само решение – это сервис, предоставляющий доступ к парку девайсов.
Была также кратко затронута тема нагрузочного тестирования мобильных приложений.
Ценителям решений от HP, не знакомым еще с этим инструментом, будет полезно подобное введение.
Видео и слайды презентации можно будет найти на соответствующей страничке конференции.
Алёна Пономаренко “Ошибки при проверке внутренних платежей Android-iOS и их решение”
Доклад – этакая база для тех, кто начинает тестировать платежи (in-app purchases) на Android и iOS. Алёна в докладе отвечает на такие вопросы как:
- как создать тестовый аккаунт?
- списываются ли деньги?
- как проверить что покупка совершена успешно?
- что делать, если, вроде всё правильно делаешь, но система выдаёт странного характера ошибки типа “такого пользователя не существует”?
Отныне всем, кто хочет начать тестирование iOS приложений буду рекомендовать посмотреть две презентации – свою “Тестирование iOS приложений. С чего начать?“ и Алёнину про in-apps purchases.
Максим Белявский “Подготовка апдейта мобильного приложения “Одноклассники”
О чём рассказ, в принципе, понятно из заглавия. У “Одноклассников” есть, чем поделиться.
Особенно запомнилось:
- Тестируют прототипы. Я считаю, что наличие этого этапа отображает зрелость компании и её процессов. Молодцы.
- История реальная история про юзабилити тестирование и использование техники eye-tracking (когда за глазами испытуемого следят).
- Особенности выкладки приложений в магазины: iOS / WinPhone – выкладка сразу всем пользователям, а на Android используют возможность постепенной выкладки – нескольким процентам пользоватлей.
- Пока приложение проходит ревью, ребята готовят новый выпуск с багофиксом и если что-то ломается после выхода, то сразу же выпускают новую исправленную версию.
- Мне кажется это крутой схемой (особенно для iOS), т.к.таким способом можно пытаться убивать двух зайцев – сначала работать над обновлением, а потом, пока неделю приложение находится в очереди на ревью, работать над исправлением багов и по только что выпущенному функционалу и по тем багам, на которые забили, упс… 🙂 по тем, которые “забыли” в дебрях трекера из-за более приоритетных задач.
Видео и слайды презентации можно будет найти на соответствующей страничке конференции.
Дмитрий Штепура “Кроссбраузерное тестирование с популяризацией HTML5 и CSS3. Internet Explorer, не такой как все”
Я на докладе не присутствовала, но эта статья будет неполной без его упоминания, т.к. именно этот доклад занял первое место по мнению слушателей.
Видео и слайды презентации можно будет найти на соответствующей страничке конференции.