Навигатор "PocketGis"
http://www.pocketgis.biz/forum/

Активное тестирование Пробковорота
http://www.pocketgis.biz/forum/viewtopic.php?f=13&t=5631
Страница 1 из 28

Автор:  VctOs [ Пт, 19 авг 2011 16:21 ]
Заголовок сообщения:  Активное тестирование Пробковорота

Последние полтора года проект не стоит на месте, как это может показаться, за это время был полностью переработан фундамент системы обработки данных "Пробковорот" в соответствии с опытом, накопленным в ходе эксплуатации предыдущих поколений противозаторных сервисов и с учетом уточненных требований к возможностям по обработке данных.

В течении нескольких месяцев участниками "оргкомитета" Пробковорота производится тестирование версии Пробковорота с некоторыми модификациями. Поначалу предполагалось, что состав и квалификация участников этой группы достаточны для проведения тестирования, однако, некоторое время спустя было осознано, что организатором тестирования в лице VctOs была допущена грубая методологическая ошибка, а именно: всем участникам тестирования было разъяснено, какие именно модификации они тестируют. В итоге мы получили хотя и вполне положительные результаты тестирования, но по мнению организаторов тестирования, существенно зашумленные "эффектом плацебо". Поэтому нам ничего не остается, как инициировать повторное тестирование в слепым методом, суть которого заключается в том, что участники эксперимента не посвящаются в детали проводимого исследования, при этом им могут поставляться как данные от новой версии, так и от старой без каких бы то ни было уведомлений об изменении режима передачи данных.

Всего требуется 10-20 "активных" тестеров, планируемый период тестирования 2-3 недели, начало тестирования примерно через неделю. Организаторы тестирования не принимают на себя абсолютно никаких обязательств по изменению режима трансляции сведений о заторах, по непрерывности изменения режима и по сохранению режима трансляции после окончания периода тестирования. Сведения о назначенных каждому участнику в каждый период времени режиме трансляции будут публиковаться только для участников оргкомитета Пробковорота на скрытом форуме "Оргкомитет Пробковорота" будут публиковаться, для всех эти сведения будут доступны не ранее окончания тестирования и публикации участником тестирования окончательного отчета.

Требования к участникам тестирования
1. Использование Пробковорота в течении не менее одного месяца не менее пяти дней в неделю, знание своего позывного, наличие устройств, обеспечивающих надежное обновление данных, регулярное обновление версий программы и данных.
2. Ежедневный маршрут длиной не менее 7-10 км и продолжительностью не менее 40-50 минут (если больше, это лучше), с развитыми возможностями выбора альтернативных путей в зависимости от дорожной ситуации. К примеру, не интересны маршруты типа "метро Пр-т Мира - г.Королев,Пионерская ул." по причине их существенно ограниченной альтернативности. Приветствуется многолетний опыт езды по маршруту.
3. Возможность публикации промежуточных ежедневных и окончательных итогов тестирования на независимых, по возможности публично доступных, ресурсах (в форумах, живых журналах, социальных сетях). Необходимо наличие собственного аккаунта на таком ресурсе, зарегистрированного не менее месяца назад, допустимость публикации итогов правилами ресурса. Приветствуется возможность публикации на ресурсе прямых ссылок на страницу форума Пробковорот, посвященную централизованному подведению итогов тестирования, однако это не является обязательным условием. Приветствуется наличие "авторитетного" аккаунта на независимом ресурсе, т.е. зарегистрированного давно и с большим количеством полезных сообщений. Приветствуется возможность публикации ежедневных отчетов на нескольких независимых ресурсах поочередно (копирование и дублирование, наоборот, представляется нежелательным).
4. Ссылки на опубликованные на внешних ресурсах отчеты должны размещаться в ветке тестирования.

Ежедневный отчет
5. Ежедневный отчет о тестировании должен включать как минимум следующие сведения:
*дата, время, положение старта,
*положение финиша,
*выбранная стратегия,
*оценка времени движения по маршруту без учета заторов,
*оценка времени движения по маршруту с учетом заторов,
*фактическое время в пути,
*отклонения от предложенного маршрута,
*версия ПокетГис и набора данных.
6. Дополнительно в ежедневном отчете приветствуются сведения:
*анализ качества маршрута (риски потери времени, возможности их избежать или сократить),
*обычно используемые на основе накопленного опыта варианты объезда проблемных мест, через которые прошел окончательный маршрут,
*личное мнение о причинах ошибки прогноза времени с указанием участков маршрута, на которых предположительно произошли ошибки оценки времени в пути.

Окончательный отчет
7. Окончательный отчет должен включать в себя список поездок со ссылками на публикации ежедневных отчетов и с оценками качества работы сервиса за каждый день по десятибальной шкале.

Заявка на участие
8. Заявка на участие публикуется желающими принять участие в тестирование в этой ветке;
9. Заявка на участие должна включать в себя следующие сведения:
*продолжительность использования Пробковорота (дата подключения, суммарный пройденный путь, планируемое число дней в неделю использования в течении периода тестирования);
*сведения о типовых маршрутах, если таковые существуют (старт, финиш, примерное время старта), включая основные альтернативные варианты проезда, характеристики дорожной обстановки по маршруту;
*независимые ресурсы, на которых будут размещаться отчеты;
*обязательство не разглашать полученную в процессе тестирования от организаторов тестирования конфиденциальную информацию.
10. Заявка не должна включать в себя полный позывной участника Пробковорота;
11. При положительном рассмотрении заявки вы получите ЛС с запросом полного позывного. Полный позывной следует отправлять только личным сообщением и только в адрес VctOs.

------------
вроде, пока это все. по ходу процесса будут вноситься уточнения и даваться разъяснения.

Автор:  Gu.Ru [ Пт, 19 авг 2011 17:39 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Готов поучаствовать в тестировании.
Регистрировался более 3 лет назад, пробег 46480 км.
Постараюсь ездить 5 дней в неделю (2 дня будет железно)
Типовые маршруты Сормовская - Старокалужское ш, будни утро 7-8 часов, обратно вечер 19-20 часов.
Вечер иногда с заездом в Ашан (рязанский проспект д 2)
типовые маршруты: рязанка или волгоградка (+ несколько обездов по примыкающим дорогам), ТТК или Садовое, Профсоюзная или Вавилова или Ленинский
утром стояки в центр, вечером из центра, на кольцах как повезет.
возможно пару раз будут поездки от Сормовской или Старокалужского в г. Павловский Посад (вечер туда, утро обратно)
тут типовой описать сложно, но чаще всего едем по ш. Энтузиастов. от садового, МКАД или ТТК.
готов публиковать отчеты в твиттере (эккаунту больше месяца но твитов практически нет - не знаю насколько это критично)
Под неразглашение подписываюсь. Но поиметь инсайдерскую инфу во что бы то ни стало не стремлюсь, главная цель - помочь посильно проекту.
Позывной в подписи.
ЗЫ: небольшое пожелание. Немного напряжным выглядит фиксация всех цифр для отчета в авто (хоть на блокнот записывай). Если sesh смог бы прикрутить какую-нибудь автоматизацию этого процесса в экстендере, было бы здорово.

Автор:  SergCH [ Пт, 19 авг 2011 17:47 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Готов поучаствовать.
Ездию давно, старт на Яблочкова, финиш на Русаковской. Бывает, ездию и по вечерам, в выхи на дачу (Вербилки).

Автор:  sesh [ Пт, 19 авг 2011 17:50 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Gu.Ru писал(а):
Немного напряжным выглядит фиксация всех цифр для отчета в авто (хоть на блокнот записывай). Если sesh смог бы прикрутить какую-нибудь автоматизацию этого процесса в экстендере, было бы здорово.

Используемый "скин" должен содержать текущее время, оставшееся расстояние, время прибытия. Где нибудь поспокойнее поехали - скриншот (с включенным полным экраном), на светофоре остановились, в хвост пробки уперлись, ..., из пробки вырвались, везде скриншоты... Вот и вся автоматизация...

Автор:  Vlad178 [ Пт, 19 авг 2011 18:59 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

готов поучаствовать, мои маршруты малопредсказуемы :)

посему хочется автоматизации процесса.

Автор:  saintman [ Пт, 19 авг 2011 19:18 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Готов принять участие

тестер с 16 мар 2007
пробег 24472.08км
5 дней в неделю

Маршруты:
Очаково (работа) <-> Железнодорожный и/или Сев. Бутово

обязуюсь не разглашать конф. информацию

Автор:  sesh [ Пт, 19 авг 2011 19:18 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Если тестирование, в принципе, может начаться прямо сейчас, то автоматизация может разрабатываться и отлаживаться по разным причинам достаточно долго.
В качестве варианта автоматизации, предлагаю добавить себе в .ini файл или какой-нибудь .lm3 файл, в адресной книге, строчку, включающую запись "трека":
Код:
on.ArriveTime, 1 = commandSaveBitmap TEST_, commandTriggerReset on.ArriveTime

Будет создавать скриншот, каждый раз, если время прибытия к финишу изменилось на 1 минуту.
Потом анализируем скриншоты, пишем отчет...

Автор:  b-suns [ Пт, 19 авг 2011 19:46 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

63500 пробег, думаю остальное и так понятно.

Вопросы:
Версию тестим новую?
Под Винду?
Пробкопокрытие расширенное?
Карта текущая или кастом?
Какие еще нюансы в отличии от простой езды?
Есть шанс сделать автомат публикацию хоть в теории? (бегу постоянно, не будет времени вдумчиво все сохранять)

Автор:  VctOs [ Пт, 19 авг 2011 20:06 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

отчеты придется писать и публиковать строго вручную и вдумчиво. тестируется в т.ч. субъективный фактор восприятия маршрутов "плохой-хороший", "согласен-не согласен", "поеду-не поеду". те у кого времени на отчеты нет могут продолжать тестирование в обычном, т.е. неактивном порядке.

оффтоп сейчас потру, просьба не уходить от темы.

Автор:  -=DGN=- [ Пт, 19 авг 2011 20:17 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

а не логично-ли создать тут подфорум где каждый тестер будет свой отчет вести отдельной веткой? или это СЕО такое СЕО? ;-)

Автор:  VctOs [ Пт, 19 авг 2011 22:54 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

-=DGN=- писал(а):
а не логично-ли создать тут подфорум где каждый тестер будет свой отчет вести отдельной веткой? или это СЕО такое СЕО? ;-)
в этом мероприятии нет никаких ожиданий эффекта поисковой оптимизации AKA SEO, о прямых ссылках говорится "они приветствуется, но не является обязательным". наоборот, ссылки на места публикации должны размещаться здесь, получается, что мы даже разбазариваем свой SEO потенциал.
тем не менее публиковать отчеты исключительно на этом форуме никак не лучше, потому что у нас сложился некий междусобойчик, о котором слишком мало кто знает извне. показать внешнему народу о том как работает Пробковорот - один из возможноожидаемых положительных итогов данного мероприятия.

Автор:  unwrecker [ Сб, 20 авг 2011 13:34 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Готов поучаствовать (и по требованиям подхожу), но не готов писать ежедневные отчёты.

Автор:  rps64 [ Сб, 20 авг 2011 22:20 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

вот тоже, записывать телеметрию или раскапывать скриншоты (а на 70-100 км пути в один конец через всю москву ух будет *много*) не осилю :( но субьективно хорошо-плохо могу отчитываться. плюс пиар на внешних ресурсах также не осилю...

Автор:  VctOs [ Пн, 22 авг 2011 19:49 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

смысл "активного тестирования" в отчетах, без отчетов активного тестирования никак не получится, пассивное тестирование можно продолжать в обычном порядке, дополнительная запись и отзывы в этой ветке для этого не требуются.

Автор:  Stasik [ Вс, 28 авг 2011 11:18 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Каким образом должна осуществляться?

Цитата:
Ежедневный отчет

*оценка времени движения по маршруту без учета заторов,
*оценка времени движения по маршруту с учетом заторов,

Автор:  VctOs [ Вс, 28 авг 2011 12:15 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

*оценка времени движения по маршруту без учета заторов - запускаем пгс, не загружая заторы или удаляем заторы командой меню "Маршрут/Удалить все", прокладываем маршрут, записываем оценку времени. это можно сделать в любое время, потому что результат будет постоянным для каждой версии набора данных.

*оценка времени движения по маршруту с учетом заторов - запускаем пгс, загружаем заторы, прокладываем маршрут, записываем результат.

Автор:  shilka [ Ср, 31 авг 2011 20:34 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Пн, 28 дек 2009 19:14
27467км
5 дней
Люберцы, ул.Мира - м.Текстильщики, Волжский бул. (12 - 13км.), в 10ч. Проезд по Новорязанскому ш. vs Октябрьский пр-кт (Люберцы); Волгоградский пр-кт vs Рязанский пр-кт
аккаунт на LiveJournal
обязуюсь не разглашать

Автор:  Vlad178 [ Вт, 6 сен 2011 12:35 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

тоже заметил некоторые изменения в типовых маршрутах.

не лучше и не хуже - просто по другому.

на поклонку с автозаводской стало водить по ттк и косыгина, раньше обычно через центр или через ттк-ленинский.

Автор:  Gu.Ru [ Вт, 6 сен 2011 22:55 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

Виктор, убедительная просьба дать отмашку в форуме о начале тестирования. Запасаюсь блокнотиком в машину :-)

Автор:  unwrecker [ Ср, 7 сен 2011 2:27 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

egens писал(а):
unwrecker писал(а):
Оригинально водит. Но зачем так - непонятно.

Хорошо или плохо?

Ложная тревога. Стратегия "быстрее" была включена :)

Автор:  VctOs [ Ср, 7 сен 2011 9:27 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

тестирование уже начато в общем-то.

Автор:  saintman [ Ср, 7 сен 2011 11:48 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

первый отчет:
http://4pda.ru/forum/index.php?showtopi ... try8920429

Автор:  egens [ Ср, 7 сен 2011 13:09 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

saintman писал(а):

Доступно, кстати, только зарегистрированным..

Автор:  Alchi [ Ср, 7 сен 2011 13:29 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

А неужели есть незарегистрированные на 4pda?

Скопирую:

Цитата:
Отчет о поездке с ПГис.
06.09.11, м. Воробьевы Горы - Железнодорожный, Пионерская ул.
стратегия "быстрее", карта увы была относительно старая (27 неделя, от 07.07)
выезд 20:33, прогноз прибытия 21:34
маршрут строго соблюдал:
Фрунз. наб - Берниковская наб - разворот под Ульяновской этакадой - ш Энтузиастов - Кабельные проезды - Фрезер* - Рязанка - МКАД - новая Косинская развязка** - Михельсона - 2я Вольская - Пригородная - Пионерская.
* С недавнего времени ПГИС учитывает перекрытия по расписанию, Карачаровский переезд также подключен к данной системе. Учитывалось это или нет, не знаю. Но на Карачаровском переезде потерял минуту максимум.
** ПГИС предложил проезд далее по старой Вешняковской развязке, я "срезал" по новой развязке. Дальнейший маршрут совпадал. Новую развязку обещают в завтрашней карте.
Добавлю, что исходя из почти годового личного опыта, маршрут внешний МКАД через Люберцы в Железку был предложен оптимальный по времени.
На протяжении всего маршрута нигде не стоял.
факт. время прибытия 21:39
(нарушал скоростной режим до +40км/ч, где было свободно)

Цитата:
07.09.11, Железнодорожный, ул Рабочая - Большая Очаковская
стратегия "быстрее", карта крайняя (35 неделя)
выезд 07:23, прогноз прибытия 8:41 (обычно приезжаю около 9:40 +-20 в зависимости от обстановки)
первоначальный маршрут был проложен ч/з Люберцы - Белая Дача - МКАД
Добрался до Октябрьского проспекта по стандартному маршруту Инициативная - Комсомольский. На пересечении с 4м Люберецким проездом ПГис резонно увел налево (сразу за светофором начинался хвост стандартной пробки), далее по прямой на Новорязанское. На МКАД ПГис уже не тащил (внутреннее по утрам с каждым днем всё хуже, пока пишу эти строки коллега приехала: выехала из Выхино в 8:30 добралась по МКАДу в 11:35!) до ТТК добрался в стандартном режиме, пересечение с Люблинкой преодолел без чего-то 9. Вот дальше ПГис накосячил - вместо стандартного ТТК - Косыгина - Мичуринский потащил на Крутицкий через Воронцовскую (было 2 аварии, потерял минут 5, как там обычно не знаю, но машин там немало), ещё минут 5 постоял на съезде на Шлюзовую (интересный момент - на съезде ПГис предложил сделать финт ушами с 3-мя разворотами, что по моим наблюдениям там изображли завсегдатаи, я не рискнул повторить, т.к. место незнакомое). Далее с Раушской на Кремлевскую вокруг Балчуга (на Болотной наблюдал аварию-перевертыш) Перед Кремлевской постоял минуты 3. Затем Воздвиженка - Кутузовский - Аминьевка (5 мин на неё съезжал).
По моим прикидкам ТТК - Косыгина - Мичуринский минут на 15-20 быстрее ((( Но спасибо, что на МКАД не увел ))
факт. время прибытия 9:39
Жаль, но ПГис пока так и не научился "заглядывать в даль" при длинных маршрутах, попадающих на начало часа-пик.
Продолжение следует... )))

Автор:  shilka [ Ср, 7 сен 2011 14:39 ]
Заголовок сообщения:  Re: Набор в группу активных тестеров Пробковорота

При проведениии тестирования надо ли строго придерживаться маршрута? Или можно откланяться, если есть идеи получше.

Страница 1 из 28 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/