Utest (часть 1)

По-возможности, кратенькое описание дальнейших злоключений для тех, кому интересно.
Кому не интересно, пожалуйста, не читатайте, извините, что Вам приходиться тратить время на пролистывание, это последний опус по этой теме, больше ну будет.

Как я уже упомянула ранее, в следующем цикле все было “веселее”.

Могу сказать, что это был самый эпичный мой фэйл на uTest. 3 бага, 3 WAD-a.

  1. Отвечаешь на 20 вопросов викторинки, занимаешь какое-нибудь место на доске лидеров первое там, или второе. Выходишь из опроса, в списке новостей видишь свежее сообщение о том, что ты в этом опросе на каком-нибудь 9 месте.
    Репорчу баг. Режект с комментарием: “Место могло измениться после того, как сообщение было сгенерировано”.
    Поигралась, посмотрела - правда, пока пользователь отвечает на вопросы где-то в середине процесса формируется сообщение с местом среди лидеров на тот момент. Очень странное решение. Ну, да ладно, посыпаю голову пеплом, не досмотрела, не додумала.

  2. Выполняю тест кейс. Один из шагов гласит: “Если ваш друг в данный момент трекает свои перемещения через GPS, вы должны видеть его на карте”.
    Я в шоке, друг то у меня есть, но откуда ж он чего-то будет трекать, если я его сама создала только что?
    Первый порыв был, заблокировать шаг и написать, что у меня нет на данный момент друзей, которые что-то там трекают. Но совесть замучила, как же так, мне платят за выполнение тест-кейса, а я так формально подхожу.
    В общем установила приложение стороннего производителя для трекинга, привязала его к аккаунту друга, носилась трекала вокруг дома, как чокнутое идиото. В итоге, на карте ничего не отобразилось, хотя данные трекинга на тестируемый сайт со стороннего сайта попали, и записи соответствующие есть.
    Репорчу баг. Режект с комментарием: “Для того чтобы увидеть друга надо для трекинга использовать не стороннее приложение, а родное.”
    Пи-пи-пи, а почему про это ни слова не было в тест-кейсе?
    Ок, дай-ка попробую родное, может быть оно тоже не работает. Тестовое приложение нам никто не предоставлял, поэтому скачиваю приложение из AppStore и пытаюсь залогиниться в него с данными друга. Моего друга приложение не признает, говорит нет у нас таких. Вывод очевиден, тестовый и продуктивный сайт используют разные БД (стандартное и правильное решение, но в моей практике на uTest я сталкивалась с обратным), у меня нет родного приложения, которое подключено к тестовой базе и как я должна была выполнять этот шаг тесте-кейса, как его выполняли другие тестеры я не понимаю.
    Спрашиваю в чате у TTL как я должна была выполнить этот шаг и описываю суть проблемы. Получаю ответ, который напомнил чиновников, рассылающих шаблонные письма на любые запросы страждущих, не читая их: “Надо было использовать родное приложение”. Написала еще раз, что я пыталась это сделать, но это невозможно, и вообще непонятно как надо этот шаг теста выполнять. Ответа не последовало.

  3. Пользователь может ставить себе цели и достигать их, выполняя подзадачи. Подзадачи можно выполнить ручным вводом данных о проделанной работе.
    Ставлю цель, ввожу данные о проделанной работе, цель должна быть достигнута полностью. Фактически две подзадачи достигнуты, а третья нет. Репорчу баг.
    Тот самый товарищ с говорящей фамилией реджектит баг с комментом:“these activities are tracked to the same time, server recognize it”.
    В этот момент, мне стало смешно, хотя было очень грустно и обидно.
    Ну, ну, ваш супер-пупер кривой сайт не иначе, как имеет встроенный искусственный интеллект, который конечно же всё опознает и отслеживает, и принимает решения фрод это, или не фрод и вместо сообщения о подозрении на фрод, просто молча подленько оставляет цели не достигнутыми.
    Не поверите, но только в этот момент меня осенило, а фамилия то, неспроста, говорящая она однако. До этого все воспринималось, не более чем, как неудачное стечение обстоятельств, но вот после этого коммента я утвердилась в мысли, что фамилия в данном случае не просто так.
    Поигравшись с функциональностью, в попытках обнаружить искусственный интеллект, выясняю, что если при ручном вводе, вместо значений 1,2,3, указать 1.1, 2.1, 3.1, то все цели чудесным образом оказываются достигнутыми и быстрота ввода искусственный интеллект нисколько не смущает.
    Открываю диспут:
    “I ask to reconsider the issue. It’s more likely boundary issue, because if user have added 1.1, 2.1, 3.1 at the same time, then all objectives are achieved. I added video AllObjectiviesAchieved.”

Через пару дней диспут режектит PM проекта как WAD, без каких либо комментариев.

Я не могу сказать, что данный цикл абсолютно неадекватен, в предыдущих раундах у меня были Very. И в этом раунде у других тестеров все не так уж и плохо, Very есть.

Далее попадаю в цикл с щедрым клиентом Exceptional и Very летят налево и направо, самвотов почти нет.
Ура! Наконец-то повезло, подправлю рейтинг и подзаработаю.
Не тут то было, лимит багов - 50, большинство багов копипаст с предыдущих раундов этого цикла (TTL официально разрешил это делать в чате).

В общем успела найти и зарепортить один баг.

Смысл в следующем. На сайт добавляется запись с информацией о сторонней компании, в том числе можно добавить офисы компании с адресом, датой основания, типом офиса (продажи, исследования) и т. д. После создания записи компании, ее можно редактировать и добавлять новые офисы или редактировать данные уже существующих.
Обнаруживаю, что при указании неверной даты система не сохраняет данные об офисе при создании офиса и удаляет все данные об офисе при редактировании, т.е. офис вообще пропадает из списка со всеми данными адресом, типом офиса, датой и т.д.
Ищу возможные дупы. Есть один баг, в котором при создании записи компании указываются данные офиса: адрес, корректная дата, тип офиса, и в результате в созданной записи компании есть офис с адресом, типом, но отсутвует дата создания.

Я могу сохранить правильную дату создания офиса, но при вводе ошибочной даты, система ведет себя некорректно. Похоже на то, что предыдущий баг, где правильная дата не сохранялась пофиксили, а я обнаружила еще одну проблему.

Репорчу баг. Режект: DUP, номер бага с которым DUP не указан. Открыла диспут, пока висит не решенный.
Копипасты с других раундов Exceptional и Very, самвотов почти нет.

2 лайка

Ну как бы вы сами ответили на свой вопрос. В первый раз ТТЛ дал вам возможность исправить оплошность, хотя мог этого не делать, и на этом “лимит” его доброты закончился.

В первый раз предупреждений со стороны ТТЛ никаких не было, что “последний раз он прощает”. Как раз в том случае он и спросил могу ли я подтвердить что у меня все нормально на таких то шагах. По мне это вообще так сказать “рабочие” моменты, всякое может случиться.

У меня на других кейсах и не раз было - у всех fail, а у меня pass, ТТЛ попросил привести скрины или видео. Все норм было.

P.S. Написал ПМу, объяснил ситуации, ну и указал что ТТЛ несколько не профессионально поступил. Жду ответа.

Если вы на заведомо “нерабочий” шаг ставите pass то это уже как минимум грубая халатность. Могут попросить переделать но это уже акт доброй воли со стороны ТТЛ а никакие не “рабочие моменты”. Ну и писать в таком случае ПМу не считаю разумным шагом.

У меня было два случая когда мне отменяли тест кейс и прямо обвиняли, что я его не делал. Первый раз небезызвестная Линда Петерсон так же как вам реджектнула тест кейс из-за двух шагов с Pass вместо Fail, все решилось отправкой письма ПМу с доказательствами моей правоты. Второй раз Лена Хаузер, не знаю работает она еще ТТЛ или нет, обвинила меня что я ничего не делал, а просто старый exploratory прикрепил к тест кейсу, из-за того, что я дату забыл поменять. Хотя там больше половины заново было написано. Пообещала написать CM на меня. В этом случае я первым написал CM, показал старый и новый тест кейс.

В обоих случаях мне бонусами выплатили тест кейсы, но вот на реджект тест кейса нельзя открыть диспут, так что рейтинг тогда проседал у меня прилично.

Ну так они все-таки были pass а не “пропустил по невнимательности” ?

У меня кстати еще был случай, когда тест кейс в эксель файле был написан так, что строки не помещались на экране 22 дюймового монитора, плюс сверху шапка была закреплена, и не видно было куда ставить, в итоге из 200+ шагов, я часть пропустил, а часть не туда поставил. Но там ТТЛ, попросил исправить к счастью.

Да такое сплошь и рядом случается. Но я не воспринимаю это как “обязанности ТТЛ”

Дописала сейчас вторую часть своих злоключений и хочу добавить. Дело не только в рейтингах и режектах, очень сильно расстраивает наплевательское, а порой и хамоватое отношение к тестерам.
В общем оно понятно, регистрируются все кому не лень, идитов хватает, желающих тестировать девать некуда, один уйдет, на его место придет десяток новых. И тратить время на реверансы с возможно очередным идиотом, да даже и не идиотом, никто не хочет. Всё понятно, но тем не менее очень неприятно и расстраивает, когда все это происходит с тобой.

2 лайка

Ну ТТЛ должен передать результат ТМу, грубо говоря, если там будут пропущенные строки, и результат не туда проставленный, ТМ предъявить претензию качеству услуги может. Так что я думаю это его обязанности должны быть, не ПМ же проверять должен. По сути это то же самое, что и перевод бага в статус pending.

На портянку я потратила не так уж и много сил. Основные силы уходят на анализ ситуации, что я сделала не так, почему появился режект. Анализ и выводы я делаю по каждому режекту, даже если не открываю диспут, т.к. без анализа и выводов по результатам, - нет обучения и развития. Это как в школе, работа над ошибками после контрольной.

Анализ показывает, что реджект может появиться из таких щелей, откуда никогда не ждешь.

В наставлениях ТТЛу (не могу сейчас прямую ссылку дать ввиду падения сервера, приведу вольное изложение) написано английским по белому “Не нужно запрашивать уточнения, если тестер оформил репорт не в соответствии с овервью, сразу ставьте DNFI”. Как много ТТЛ следуют этому правилу?
Также думаю и с кейсами, если стоит pass на заведомо нерабочем шаге, то это право (а может и обязанность) ТТЛ такой кейс отклонить как невалидный, а не устраивать расследование, как же так вышло. Но повторюсь, большинство ТТЛов достаточно толерантны к ошибкам.

Особенно “весело”, когда такие режекты пачками валятся.

Этого не знал, не читал ТТЛй handbook, хотя все собираюсь экзамен сдать

Здравствуйте, имеется в наличии 5S, iPad Air, Nexus 5x. Какой девайс брать следующий исходя из свободных слотов и кол-ва инвайтов. Хватит ли 6S без плюса, даст он что-то по сравнению с уже имеющимся 5S и просядет ли аккаунт(реальный заработок с учётом переплаты) если не взять 8/10?

Так это комплексы, рефлексия одним словом. С годами проходит)
Помогут также волшебные таблетки или сеансы психотерапии, где же добрый доктор Айбо… akaBear?!

[Смотрит с уважением]

Правильно заданный вопрос содержит половину ответа. 6S вряд ли кардинально картинку поменяет, а насчет просадки аккаунта (видимо имеется ввиду банковский)
вряд ли кто сможет подсказать. По мне так лучше Самсунг какой докупить

Вроде давно не двадцать лет, а все никак не пройдет. Видимо, я в душе молода. )
Доктор не нужен. Отпустило. Все выходные деклайню инвайты, даже с вменяемыми тест кейсами на 20 с копейками баксов отдеклайнила.
И хочу заметить уровень тревожности ощутимо снизился, можно сказать вообще полное душевное равновесие. Все таки, ожидание инвайтов и последующая гонка за слотами держат в напряжении постоянно, на подсознательном уровне, когда от этого отключаешься становишься намного спокойнее.

1 лайк

Лену Хаузер надеюсь что ее уволили. Настолько неприятная дама была, через губу общалась со своими бывшими соотечественниками.