Синонимом пилотажного исследования является название

…

Читайте также:

©2015-2022 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-04-20
Нарушение авторских прав и Нарушение персональных данных



Поиск по сайту:

Мы поможем в написании ваших работ!

Что собой представляет пилотажное исследование? С какой целью оно проводится? На выполнение каких задач направлено?

Общая информация

Для начала давайте определимся, что же собой являет пилотажное исследование. Это обозначение используется для того, чтобы именовать пробные или небольшие поисковые (разведывательные) проверки существующего положения дел. Так, если нужно уточнить проблемы, более корректно поставить задачу и выдвинуть обоснованные гипотезы, то пилотажное исследование является наилучшим вариантом для этого. Особенная потребность в нём может быть в тех случаях, когда отсутствует литература по интересующей теме. Тогда пилотажное исследование проводится с целью восполнения информационного пробела.

Что оно собой представляет?

Пилотажное исследование — это в социологии вид анализа, при котором значительно ограничивается круг задач, количество опрошенных людей невелико, данные нерепрезентативные, а инструментарий и программа чрезвычайно упрощены. Из-за этого исследователь получает только примерную информацию о том, чем же является объект исследований. Эти знания используются для общей ориентации. Главный лозунг пилотажных исследований – дешево, быстро и приблизительно. Поэтому они применяются в тех случаях, когда проблема или вообще не изучена, или же познания о ней весьма жалки.

Как проводится?

Итак, нам уже известно, что пилотажное исследование – это социологическое исследование. Но как оно проводится? Здесь существует большое количество различных вариантов. Наиболее оптимальным считается неформализованное интервью с потенциальными респондентами. Но, увы, субъективность людей может повлиять на их ответы. Чтобы подкорректировать данные используют наблюдение со стороны специалистов. Для этого может формировать фокус-группа. Но тогда следует предельно сконцентрироваться на чем-то конкретном. Весьма популярным является и опрос экспертов. К ним относят специалистов или же простых людей, но которые обязательно должны иметь определённое отношении к проблемной области, что интересует исследователя. В качестве дополнения можно изучать документацию и статистические данные, где имеются нужные сведения для подтверждения/опровержения гипотезы или решения задачи. Весьма популярными являются и экспресс-опросы. Правда они, как правило, несмотря на свою грамотность, не ставят перед собой решение глубоких научных задач и развитие фундаментальной науки. С их помощью узнаётся сиюминутная важность чего-то для общества. При этом не суть важно, что выступает в качестве объекта: выборы Трампа президентом США, запрещение абортов или же что-то ещё. Как бы там ни было – получение данных осуществляется с целью наложить их на более масштабные процессы.

О надежности

Насколько можно доверять полученной информации? Учитывая, что пилотажное исследование — это пробное исследование, уже сам этот факт подразумевает высокую долю рисков. А если оно ещё проводится и не специалистами, а группой любителей (в качестве которых может выступать отдел кадров, журнал, кружок, хозяин веб-сайта), то в таком случае хотя и имеется свежая и нужная информация, она, тем не менее, является нерепрезентативной, и её надёжность весьма сомнительна. На первый взгляд, она может быть вполне надёжной. Но если подойти с научной точки зрения – тут-то и откроются её изъяны. Поэтому использовать пилотажные исследования имеет смысл только в том случае, когда не выдвигаются строгие требования относительно надежности. Первоначально следует затронуть выборку. Четких методических требований здесь нет. Как правило, полагают, что опрос 3-х десятков респондентов позволит получить требуемую информацию. Но при этом следует позаботиться о том, чтобы среди них были представители всех категорий людей, которые подпадают под исследование. При этом нужно стремиться к максимальному разнообразию. Кроме этого, следует позаботится о том, чтобы среди респондентов были люди, для которых тема представляет хоть какое-то значение. В качестве отборочных признаков выступает пол, образование, возраст, стаж работы и прочие подобные критерии.

Важность пилотажных исследований

В целом и общем этот аспект был рассмотрен ранее. Сейчас же давайте остановимся на этом по подробнее. Из самого названия понятно, что пилот проводится до начала основного исследования. Он необходим для того, чтобы проверить обоснованность задач и гипотез. Хотя также может быть использован и для методической отработки инструментария. В случае необходимости пилотное исследование помогает внести коррективы в модель, которые улучшат её работу, позволять уточнить характеристики, предмет, обосновать финансовые траты и сроки завершения. Ведь если будет проводиться полноценный мониторинг настроений в обществе и где-то закрадётся ошибка, то её наличие будет чревато значительными неприятностями. Такой подход оказывает благотворное влияние в вопросе экономии ресурсов. Для проверки эффективности и целесообразности использования имеющегося инструментария могут быть проведены также пилотажные исследования. Они же подходят и в качестве генеральной репетиции главного исследования. В таком случае проверяется успешность проведения первого этапа и оцениваются результаты. Также при исследовании нового объекта это позволяет наработать методический материал. Проверяются одновременно и организационные условия: как относятся респонденты к проводимому опросу, есть ли все нужные документы и оценивается качество материала. При этом регистрируются все затруднения, которые возникают в ходе дела.

Заключение

Само пилотажное исследование проходит, как правило, в группах. Вопрос только в том, насколько большими они являются. Существует два наиболее популярных варианта. Первый предусматривает приглашение всех респондентов в отдельную комнату, где они заполняют анкеты. Перед этим людей информируют про пилотаж, сообщают и объясняют его задачи и цели, инспектируют нюансы заполнения анкеты и просят высказывать все замечания. Второй вариант опирается на небольшие группы, которые состоят из 3-4 человек. При этом анкеты обсуждаются по мере их заполнения. Наибольший интерес для исследователей представляет качество задаваемых вопросов. В таких случаях наибольший интерес предоставляют, как правило, методические цели.

Термин «пробное исследование» в литературе употребляется как:

1. синоним поискового (разведывательного) исследования;
2. синоним пилотажного исследования;
3. собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное — два основных подвида пробного исследования.

Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выдвижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно желательно в том случае, если литература по интересующей вас тематике отсутствует или ее недостаточно.

Разведывательное исследование — наиболее простой вид социологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; данные нерепрезентативные. Ученый получает лишь прикидочные сведения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг — приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими методами:

• интервью (лучше неформализованное) с потенциальными респондентами;
• наблюдение;
• фокус-группа по центральной проблеме исследования;
• опрос экспертов — специалистов или просто людей, имеющих отношение к интересующей вас проблемной области;
• изучение документов, статистических данных, содержащих необходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают экспресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы — от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень грамотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные обществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную информацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там, где не требуется великой строгости, где нужно лишь как-то сориентироваться в проблеме (разведать объект), оперативный опрос вполне годится.

Разведывательное исследование часто называют также пилотажным исследованием. Хотя правильнее считать его самостоятельным видом социологического исследования. Разведывательное и пилотажное исследования похожи в двух аспектах:

• Цель — получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.
• Объект — для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего — для апробации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка — для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:

• Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования.
• Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество — разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.
• В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В зарубежной и отечественной практике применения тестов (тестологии) пилотажа (рабочий термин — «претест») служит средством выявления некоторых стандартов основного теста.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее заполнение (или интервью), а в случае почтовой рассылки — сколько дней проходит с момента отправления анкеты до получения ответов.

Пилотажное исследование представляет собой исследование по «укороченному» плану — в нем используются малые выборки, не в полной степени проводится сбор информации, полученная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (неоднозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов программы, что в дальнейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для:

1. тестирования инструментария, в котором исследователь вполне уверен,
2. усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю.

В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе, Предварительное тестирование такого типа может включать в себя:

1. Тестирование различных словесных формулировок и форм вопросов.
2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается методическая информация, т.е. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.

Пилотаж проводится в двух вариантах. В первом — всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3—4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается примерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных интервью с несколькими респондентами, принадлежащими к целевой группе (обычно 3—5 респондентов, при сложных исследованиях — 10—15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По результатам пилотажа, если необходимо, в анкету вносятся коррективы. Особенности проведения пробного опроса подробно обсуждаются также на «круглых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фиксирующие замечания респондентов и социологов, а также доработанный вариант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических ошибок, доработки инструментария.

Пилотажное исследование составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.

К его проведению надо относиться как к приобретению страховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?

Пилотное исследование

878 Когда у меня накопилась первая партия гороскопов, я сначала занялся соединениями d и оппозициями с? солнца и луны3 — двумя аспектами, которые в астрологии считаются равносильными (хотя и с противоположным смыслом), то есть обозначающими интенсивные отношения между небесными телами. Вместе с соединениями и оппозициями, Марс, Венера, Асц. и Десц. они представляют пятьдесят различных аспектов.4

879 Причины, по которым я выбрал именно эти комбинации, станут ясны читателю из замечаний касательно астрологи­ческих традиций, сделанных мною в предыдущей главе. Что касается соединений и оппозиций, то здесь мне остается только добавить, что эти аспекты Марса и Венеры гораздо менее важны, чем остальные, что вполне ясно следует из следующᴇᴦο факта: отношения Марса с Венерой могут указывать на любов­ную связь, но брак — ϶то не всегда любовная связь, а любовная связь — ϶то не всегда брак. По϶тому я включил соединение и оппозицию Марса и Венеры только потому, что хотел сравнить их с другими соединениями и оппозициями.

880 Поначалу эти пятьдесят аспектов были исследованы применительно к 180-ти брачным парам. Разумеется, что эти 180 мужчин и 180 женщин могли быть перемешаны и в неженатые пары. Понятно, что в случае если любой из 180-ти мужчин мог быть соединен в пару с любой из 179-ти женщин, помимо ᴇᴦο жены, то мы, фактически, можем изучать 180 х 179 = 32 220 неженатых пар в рамках 180-ти браков. Это и было сделано (сравни с Таблицей 1), и анализ аспектов неженатых пар сравнивался с аспектами брачных пар.
Размещено на реф.рф
Для всех расчетов брался орбис в 8 градусов, по часовой стрелке и против часовой стрелки, не только в границах знака, но и за ᴇᴦο пределами. Впоследствии к первой партии были добавлены ещё две, по 220 и 83 брака соответственно, так что всᴇᴦο было изучено 483 брачных пары или 966 гороскопов. В первой партии наиболее часто встречалось соединение солнце-луна (10 %), во второй -соединение луна-луна (10, 9%), а в третьей — соединение луяа-Асц. (9,6%).

881. Меня, естественно, прежде всᴇᴦο интересовал вопрос вероят­ности: были ли полученные нами максимальные результаты «значимыми» цифрами или нет?; то есть были они вероятными или нет? Сделанные математиком расчёты категорически ука­зывали на то, что средняя для всех трех партий цифра в 10 % далека от того, чтобы быть значимой. Ее вероятность чересчур велика; иными словами, нет никаких оснований для предполо­жения, что наши лучшие результаты являются чем-то большим, чем просто дисперсиями случайнои̌ величины.

Пилотное исследование — понятие и виды. Классификация и особенности категории «Пилотное исследование»2017-2018.

Эта статья посвящена тому, как убедиться, что проводимое вами — обязательный инструмент в арсенале каждого разработчика и оптимизатора конверсии — оправдывает свое предназначение на 100%.

Качественное исследование пользователей позволяет получить глубокое и содержательное понимание особенностей их поведения, привычек и т.д. К сожалению, проведение подобного рода исследований намного сложнее, чем это может показаться на первый взгляд. Вероятно, каждый, кто проводил такие эксперименты, сталкивался с тем, что:

• в ходе исследования участники не понимают, что от них требуется и что они должны сделать;
• формулировки ваших вопросов наталкивают участников на определенный ответ либо являются причиной искажения результатов;
• в течение эксперимента участники не успевают выполнить задачу за отведенное время;
• после проведения эксперимента больше времени отнимает анализ структуры эксперимента, а не его результатов.

Если с вами случалось нечто подобное, не пугайтесь. Вы не одиноки. Даже самые опытные исследователи время от времени совершают промашки.

К счастью, есть способ, который поможет вам избежать неудачного эксперимента: .

Пилотное тестирование — это своего рода репетиция, позволяющая проверить исследовательский подход на небольшом количестве участников. Хотя пилотное тестирование и является дополнительным шагом, оно может сэкономить вам кучу времени и ресурсов, если вы вдруг обнаружите недочеты.

Поскольку корректное проектирование эксперимента является непременным условием его проведения, важно найти время на оценку, тестирование и доработку дизайна до его запуска. Поступая таким образом, вы можете гарантировать, что ваше исследование пользователей пройдет гладко, а вы получите от него максимальный эффект.

Самое интересное, что пилотное тестирование может быть применено для всех подходов.

Начните с процесса

Для любого подхода к исследованию, какой бы вы не выбрали, характерны следующие этапы:

1. Разработка определенного исследовательского подхода (методология, инструменты, профиль целевого участника).

2. Пилотное тестирование эксперимента.

3. Подбор квалифицированных участников исследования.

4. Проведение исследования.

5. Анализ результатов.

6. Формирование выводов по результатам исследования.

Любое исследование следует начинать с вопроса «Что мы намереваемся узнать?». Вы можете руководствоваться этим вопросом при разработке методологии исследования, выборе инструментов, определения профиля участников. Пилотное же тестирование позволит быстро проверить проект исследования и улучшить его.

Обычно пилотное тестирование состоит из двух этапов: 1) проработка структуры; 2) проведение тестирования.

В ходе первого этапа организаторы стараются рассмотреть каждый аспект планируемого эксперимента. Вот что подлежит анализу:

• цели высокого уровня или то, что исследователи стремятся узнать;
• инструменты, которые планируется использовать;
• задачи, которые будут выполнять участники;
• вопросы участникам;
• размер выборки;
• профиль участника.

Нередко много времени занимает обсуждение вопросов, которые будут заданы участникам эксперимента. Рассмотрению подлежит огромное число вариантов. Такое часто случается из-за страха упустить что-то важное, что потом не позволит сделать какой-либо важный вывод. Как итог: каждое из заинтересованных в результатах исследования подразделений старается задать участнику какой-то свой вопрос.

Однако надо сказать, что такой подход опасен. Это может привести к тому, что команда просто упустит из виду главную цель, ради которой, собственно, и проводилось исследование; а также получит такие данные, которые потом будет трудно интерпретировать, тем самым ограничив количество генерируемых практических выводов.

Чтобы избежать подобного, стоит обратить внимание на следующий подход на этапе подготовке вопросов:

Фаза 1:
сначала группа исследователей составляет список потенциальных вопросов. Они затем будут более тщательно рассмотрены на этапе проработки структуры исследования. Цель состоит в том, чтобы создать небольшой пул вопросов, которые будут понятны, не будут наталкивать участника на тот или иной ответ, будут дополнять друг друга. В результате большая их часть из первоначального списка оказывается удалена, а то, что осталось — переработано.

Фаза 2:
вторая часть заключается в проведении пилотного тестирования.

Эти исследования не отнимают много времени и проводятся многократно с привлечением одного или двух участников. Основываясь на ответах респондентов, оценивают эксперимент, вносят правки и повторно тестируют.

Исследователи повторяют этот процесс до тех пор, пока не будут обнаружены все ошибки.

Существуют различные критерии, которые можно использовать для тестирования, но рекомендуется придерживаться трех основных: ясность инструкций, задачи участника и вопросы к нему, время исследования:

• ясность инструкций: инструкции не должны вводить в заблуждение и вызывать недопонимание;
• тестирование заданий и вопросов: включает в себя тестирование рабочего процесса исследования;
• время исследования: отслеживается время выполнения каждой задачи и всего эксперимента.

Пример

Один клиент хотел провести исследование новых областей своего сайта, которые были специально созданы под новый оффер его компании. В частности, он хотел запустить на новом лендинге и вспомогательной странице с контентом, раскрывающем особенности предложения.

При содействии клиента компания разработала бриф, в котором были указаны основные цели эксперимента, целевые участники, бюджет проекта и сроки реализации. Основными целями исследования стали достижение понимания особенностей вовлечения клиента (айтрекинг) на обеих страницах и изучение понимания клиентом нового сервиса.

Ориентируясь на эти цели и бюджет, был разработан исследовательский подход к проекту. Поскольку клиент настаивал на проведении айтрекингового исследования, было решено воспользоваться Sticky, удаленным инструментом для проведения такого рода исследований. Этот сервис был выбран, поскольку он позволяет проводить дистанционные немодерируемые айтрекинговые эксперименты.

Также был задействован сервис Sticky Crowd для подбора участников. Критерии выбора респондентов были взяты из последних исследований, что были проведены самим клиентом.

Используя возможности Sticky, удалось определить методологию исследования и разработать рабочий процесс для участников. Затем был составлен первоначальный список потенциальных вопросов, которые могли бы дополнить айтрекинг.

В ходе проработки структуры эксперимента были рассмотрены рабочий процесс и задачи, сроки их выполнения и финальные вопросы. Было решено использовать открытые вопросы, чтобы не искажать ответы участников, и ограничить их количество до пяти.

Вопросы были взяты из первоначального списка и переработаны так, чтобы они дополняли друг друга и были направлены на достижение поставленных целей, в частности — изучение того, как люди восприняли новый сервис.

После этого был дан старт пилотному тестированию.

Поскольку средства платформы Sticky не позволяли провести айтрекинговое исследование на двух людях, были использованы другие бесплатные инструменты. Оба респондента соответствовали профилю целевого участника. Тест тут же указал на такие недостатки дизайна, как несовершенство инструкции, которая вызывала путаницу и замешательство, и недостаточное время для выполнения задач.

Инструкция не обеспечивала участников достаточной контекстуальной информацией в отношении того, что надо искать, и, как итог, люди не понимали, какие следовало предпринимать действия. Также исследователи предполагали, что 5 секунд вполне хватит каждому участнику, чтобы успеть ознакомиться с содержимым каждой страницы. Однако размещенный контент был весьма разнообразен, и 5 секунд явно было мало, чтобы люди успевали просмотреть всю страницу.

После внесения корректировок был организован и проведен второй пилотный тест с другими двумя участниками. Изменения в дизайне позволили решить возникшие на предыдущем раунде тестирования проблемы.

Второе пилотное тестирование не только подкрепило уверенность исследователей, что можно переходить к проведению основного эксперимента, но и привело к так называемому «ага!»-моменту, прозрению.

Пилотные тесты дали понять, что у участников были определенные ожидания касательно функциональной стороны каждой страницы, которую они посещали. Например, респонденты ожидали, что главная задача лендинга — захватить их внимание и перевести на страницу с сервисом, где, как они думали, им будет представлено больше информации о нем и как его использовать в своей работе. Эти выводы изменили стратегический подход для организации обеих страниц.

Иногда предварительное тестирование действительно может озарить вас какими-то новыми идеями, позволить увидеть то, что раньше вы просто не замечали. Это приятный бонус проведения таких исследований, но надо помнить, что любую новую идею нужно проверять путем проведения дополнительных тестов.

Заключение

Проведя пилотное тестирование, вы не только улучшите выводы, полученные от одного проекта, но и сам процесс проведения исследований.

Рефлективная и итерационная природа пилотных тестов ускорит развитие ваших навыков исследователя.

Хоть пилотный тест и требует дополнительного времени и ресурсов, но поверьте, что эта небольшая инвестиция позволит получить гораздо более значительные результаты в следующем исследовательском проекте и даже за его пределами.

Высоких вам конверсий!

По материалам:

В интернете много материалов на тему пользы и вреда пальмового масла для человеческого организма, но большинство почему то грешат некоторой однобокостью, не видят комплексную проблему, к тому же часто содержат распространенные обывательские мифы. Давайте разбираться.

Подписаться на новости

Термин
«пробное исследование» в литературе
употребляется как: 1) синоним поискового
(разведывательного) исследования; 2)
синоним пилотажного исследования; 3)
собирательное понятие, включающее как
свои разновидности (подвиды) поисковое
(разведывательное) и пилотажное
исследования. Будем считать, что поисковое
(разведывательное) и пилотажное — два
основных под­вида пробного исследования.

Поисковое
(разведывательное) исследование
проводится
с целью уточнения проблемы, более
корректной постановки задач и выд­вижения
обоснованных гипотез. Таким образом,
по своей сути оно есть концептуальное
исследование.
Проведение его особенно же­лательно
в том случае, если литература по
интересующей вас те­матике отсутствует
или ее недостаточно.

Разведывательное
исследование — наиболее простой вид
соци­ологического анализа: круг задач
ограничен, число опрошенных невелико,
программа и инструментарий крайне
упрощенные; дан­ные нерепрезентативные.
Ученый получает лишь прикидочные
све­дения об объекте исследования
для общей ориентации в проблеме. Оно
используется для мало изученных или
вообще не изученных проблем. Его лозунг
— приблизительно, дешево и быстро.

Поисковое
исследование может проводиться следующими
ме­тодами: интервью (лучше
неформализованное) с потенциальными
респондентами; наблюдение; фокус-группа
по центральной пробле­ме исследования;
опрос экспертов — специалистов или
просто лю­дей, имеющих отношение к
интересующей вас проблемной облас­ти;
изучение документов, статистических
данных, содержащих не­обходимые
сведения по выдвинутым задачам и
гипотезам.

Вариантом
разведывательного исследования выступают
эксп­ресс-опросы.
Их
еще называют оперативными
опросами.
Ими
пользуются многочисленные опросные
фирмы — от ВЦИОМ до РОМИР. Правда, опросы
они проводят, как правило, очень
гра­мотные, но глубоких научных задач
развития фундаментальной науки не
ставят. Решаются сиюминутные, но очень
нужные об­ществу, ведомству или
частному заказчику утилитарные задачи:
как народ относится к президенту,
запрещению абортов, войне в Чечне,
приезду Буша, террористическим актам
11 сентября 2001 г. Таким образом получают
свежую, недолговечную (срок ее жизни
исчисляется днями, неделями, реже
месяцами), но очень нужную в данный
момент информацию.

Разведывательное
исследование часто называют также
пило­тажным
исследованием.
Хотя
правильнее считать его самостоя­тельным
видом социологического исследования.
Разведыватель­ное и пилотажное
исследования похожи в двух аспектах:

♦ Цель
—
получить примерные данные о том или
ином явле­нии либо апробировать
применение методики к более широкомас­штабным
исследованиям.

♦ Объект
—
для проведения того и другого исследования
нуж­на незначительная совокупность
объектов, поэтому они проводят­ся в
ограниченные сроки.

Но
в отличие от разведывательного, пилотажное
исследование предназначено для отработки
технических процедур и приемов, чаще
всего — для апробации вопросника.
Предварительная про­верка опросного
инструментария столь же важна для успеха
ис­следования, считают Дж. Мангейм и
Р. Рич, как пробная поезд­ка — для
успешной покупки подержанного автомобиля.
Она по­могает обнаружить проблемы,
которые в полной мере могут проявиться
только в полевых условиях.

В
социологии пилотаж проводится до
основного исследования и выступает
способом проверки обоснованности
гипотез и задач, а также профессионального
уровня и методической отработанности
инструментария. Пилотаж помогает оценить
правильность модели выборки и внести
в нее в случае необходимости соответствующие
исправления; уточнить некоторые
характеристики объекта и предмета
исследования, обосновать финансовые
расходы и сроки проведения главного
исследования. Пилотаж полезен также
для тренировки группы интервьюеров
(анкетеров).

Пилотаж
полезен для: а) тестирования инструментария,
в котором исследователь вполне уверен,
б) усовершенствования инструментария
в ситуации, когда предмет исследования
хуже известен исследователю. В первом
случае инструментарий проходит
предварительное испытание в своем
окончательном варианте. Во втором-
исследователь может захотеть
поэкспериментировать с разными вариантами
(макетами) инструмента, чтобы узнать,
ка­кой из них удобнее в работе.

Что собой представляет пилотажное исследование? С какой целью оно проводится? На выполнение каких задач направлено?

Общая информация

Для начала давайте определимся, что же собой являет пилотажное исследование. Это обозначение используется для того, чтобы именовать пробные или небольшие поисковые (разведывательные) проверки существующего положения дел. Так, если нужно уточнить проблемы, более корректно поставить задачу и выдвинуть обоснованные гипотезы, то пилотажное исследование является наилучшим вариантом для этого. Особенная потребность в нём может быть в тех случаях, когда отсутствует литература по интересующей теме. Тогда пилотажное исследование проводится с целью восполнения информационного пробела.

Что оно собой представляет?

Пилотажное исследование — это в социологии вид анализа, при котором значительно ограничивается круг задач, количество опрошенных людей невелико, данные нерепрезентативные, а инструментарий и программа чрезвычайно упрощены. Из-за этого исследователь получает только примерную информацию о том, чем же является объект исследований. Эти знания используются для общей ориентации. Главный лозунг пилотажных исследований — дешево, быстро и приблизительно. Поэтому они применяются в тех случаях, когда проблема или вообще не изучена, или же познания о ней весьма жалки.

Как проводится?

Итак, нам уже известно, что пилотажное исследование — это Но как оно проводится? Здесь существует большое количество различных вариантов. Наиболее оптимальным считается неформализованное интервью с потенциальными респондентами. Но, увы, субъективность людей может повлиять на их ответы. Чтобы подкорректировать данные используют наблюдение со стороны специалистов. Для этого может формировать фокус-группа. Но тогда следует предельно сконцентрироваться на чем-то конкретном. Весьма популярным является и опрос экспертов. К ним относят специалистов или же простых людей, но которые обязательно должны иметь определённое отношении к проблемной области, что интересует исследователя. В качестве дополнения можно изучать документацию и статистические данные, где имеются нужные сведения для подтверждения/опровержения гипотезы или решения задачи. Весьма популярными являются и экспресс-опросы. Правда они, как правило, несмотря на свою грамотность, не ставят перед собой решение глубоких научных задач и развитие фундаментальной науки. С их помощью узнаётся сиюминутная важность чего-то для общества. При этом не суть важно, что выступает в качестве объекта: выборы Трампа президентом США, запрещение абортов или же что-то ещё. Как бы там ни было — получение данных осуществляется с целью наложить их на более масштабные процессы.

О надежности

Насколько можно доверять полученной информации? Учитывая, что пилотажное исследование — это пробное исследование, уже сам этот факт подразумевает высокую долю рисков. А если оно ещё проводится и не специалистами, а группой любителей (в качестве которых может выступать отдел кадров, журнал, кружок, хозяин веб-сайта), то в таком случае хотя и имеется свежая и нужная информация, она, тем не менее, является нерепрезентативной, и её надёжность весьма сомнительна. На первый взгляд, она может быть вполне надёжной. Но если подойти с научной точки зрения — тут-то и откроются её изъяны. Поэтому использовать пилотажные исследования имеет смысл только в том случае, когда не выдвигаются строгие требования относительно надежности. Первоначально следует затронуть выборку. Четких методических требований здесь нет. Как правило, полагают, что опрос 3-х десятков респондентов позволит получить требуемую информацию. Но при этом следует позаботиться о том, чтобы среди них были представители всех категорий людей, которые подпадают под исследование. При этом нужно стремиться к максимальному разнообразию. Кроме этого, следует позаботится о том, чтобы среди респондентов были люди, для которых тема представляет хоть какое-то значение. В качестве отборочных признаков выступает пол, образование, возраст, стаж работы и прочие подобные критерии.

Важность пилотажных исследований

В целом и общем этот аспект был рассмотрен ранее. Сейчас же давайте остановимся на этом по подробнее. Из самого названия понятно, что пилот проводится до начала основного исследования. Он необходим для того, чтобы проверить обоснованность задач и гипотез. Хотя также может быть использован и для методической отработки инструментария. В случае необходимости пилотное исследование помогает внести коррективы в модель, которые улучшат её работу, позволять уточнить характеристики, предмет, обосновать финансовые траты и сроки завершения. Ведь если будет проводиться полноценный мониторинг настроений в обществе и где-то закрадётся ошибка, то её наличие будет чревато значительными неприятностями. Такой подход оказывает благотворное влияние в вопросе экономии ресурсов. Для проверки эффективности и целесообразности использования имеющегося инструментария могут быть проведены также пилотажные исследования. Они же подходят и в качестве генеральной репетиции главного исследования. В таком случае проверяется успешность проведения первого этапа и оцениваются результаты. Также при исследовании нового объекта это позволяет наработать методический материал. Проверяются одновременно и организационные условия: как относятся респонденты к проводимому опросу, есть ли все нужные документы и оценивается качество материала. При этом регистрируются все затруднения, которые возникают в ходе дела.

Заключение

Само пилотажное исследование проходит, как правило, в группах. Вопрос только в том, насколько большими они являются. Существует два наиболее популярных варианта. Первый предусматривает приглашение всех респондентов в отдельную комнату, где они заполняют анкеты. Перед этим людей информируют про пилотаж, сообщают и объясняют его задачи и цели, инспектируют нюансы заполнения анкеты и просят высказывать все замечания. Второй вариант опирается на небольшие группы, которые состоят из 3-4 человек. При этом анкеты обсуждаются по мере их заполнения. Наибольший интерес для исследователей представляет качество задаваемых вопросов. В таких случаях наибольший интерес предоставляют, как правило, методические цели.