16.3 Достоинства и недостатки метода экспертных оценок
Преимущества экспертного оценивания были рассмотрены в разделе 1.1. Вместе с тем, экспертные оценки наряду с достоинствами имеют и отдельные недостатки. Основные достоинства и недостатки данных методов исследования представлены в таблице 2.
Достоинства и недостатки экспертных методов исследования [1]
1. Синтез опыта и интуиции дляполучения нового знания
2. Возможность полученияколичественных оценокв случаях, когда отсутствуют
статистические сведения илипоказатель имеет качественную природу
3. Быстрота получения результатов
1. Достоверность и надежность результатовисследования зависят откомпетентности эксперта
2. Субъективность метода
3. Трудоемкость процедуры сбора информации
4. Потребность в высоко квалифицирован-ных специалистах для проведения опроса
Рассмотрим более подробно ограничения экспертных методов. Одним их основных недостатков является то, что достоверность и надежность исследования в первую очередь зависят от компетентности специалистов, участвующих в опросе. Нет никаких гарантий, что полученные оценки в действительности достоверны. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности мнений экспертов достоверность оценок гарантируется. С этим утверждением не всегда можно согласиться, так как известны случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.
Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, а в маркетинге и рекламе они практически все нестандартные, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.
Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е. эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза проводится крайне редко вследствие организационных и финансовых проблем, т.е. имеются определенные трудности в проведении опроса экспертов и обработке полученных данных.
Достоверность оценок можно повысить следующим образом. Нужно проанализировать данные о расхождениях экспертных оценок и их действительных значений, найденных в процессе реализации событий, и сделать соответствующие переоценки компетентности экспертов. В частности, поставив оплату труда экспертов в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.
При нахождении оценок экспертным путем, помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентности экспертов возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что сказывается на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.
Источник
Экспертный опрос
Экспертный опрос — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности. Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы. В практике экспертный опрос используется:
• для прогноза развития того или иного явления;
• для оценки степени достоверности массового опроса;
• для сбора предварительной информации о проблеме исследования (зондаж);
• в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.
Надежность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.
Сама процедура предполагает:
• анализ исследуемой ситуации;
• выбор группы экспертов;
• выбор способа замера экспертных оценок;
• процедуру непосредственной оценки работы экспертов;
• анализ полученных данных.
Может оказаться необходимой также:
• проверка входных данных, используемых для экспертных оценок;
• изменение состава экспертных групп;
• повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.
Роль эксперта
Эксперт может участвовать в опросе как:
• генератор, источник идей, гипотез и предложений;
• арбитра по оценке имеющихся данных, характеристик и показателей объекта;
• аудитора по оценке условий постановки эксперимента;
• источника не известной исследователю информации, которая служит основой для дальнейшего анализа.
Сравнение с другими методами
Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако соответствующим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.
Подбор экспертов
Количество членов экспертной группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений.
Предварительная группа
Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных в решением поставленной задачи.
Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов.
Формирование группы потенциальных экспертов начинается методом «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.
Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.
Принципиальное значение имеет возможность обеспечения «равноправия» специалистов различных направлений, различного уровня компетентности с учетом специфики исследуемой проблемы.
Тем не менее, можно установить некоторые общие требования, подразумевающие выяснение следующих параметров:
• компетентность потенциального эксперта в исследуемой области;
• эрудированность в смежных областях;
• стаж научной или практической работы в определенной сфере;
• способность творчески мыслить;
Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:
1) креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;
2) эвристичность, то есть способность видеть или создавать неочевидные проблемы;
3) интуиция — способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;
4) предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта;
5) независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;
6) всесторонность (системность), то есть способность видеть проблему с различных точек зрения.
Рабочая группа
Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию. Так, подбор экспертов может быть:
1) экспериментальным (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);
2) документальным (на основе социально-демографических данных);
3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);
4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).
Кроме указанных способов возможен расчет достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надежности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.
Подготовка экспертов к работе
Работа специалиста, организующего экспертный опрос, включает в себя еще и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.
В работу специалиста, организующего экспертный опрос, входит:
• составление специальных опросных листов для экспертов (по сравнению с массовым опросами, специфика опросных листов состоит в том, что не применяются вопросы-ловушки, ибо эксперт является осведомленным лицом, и в том, что в анкете преобладают вопросы открытого типа);
• разработка способа и процедуры опроса экспертов;
• анализ полученных данных.
Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).
Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп менее оперативной.
Очный опрос
Можно выделить три основных вида очного опроса:
1) Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, четче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15). Важно, чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным специалистом.
2) Анкетный опрос экспертов.
3) «Мозговой штурм», «Мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.
Заочный опрос
Заочный опрос можно использовать в виде п очтового анкетного опроса экспертов, в т.ч. используя дельфийскую технику. Дельфийская техника — многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов — сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода состоит в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится «эффект интерактивных циклов», то есть пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.
Более подробно о методе Дельфи будет рассказано далее.
Метод мозгового штурма (мозговой штурм, мозговая атака, англ. brainstorming ) — оперативный метод решения проблемы на основе стимулирования творческой активности, при котором участникам обсуждения предлагают высказывать как можно большее количество вариантов решения, в том числе самых фантастичных. Затем из общего числа высказанных идей отбирают наиболее удачные, которые могут быть использованы на практике.
Правильно организованный мозговой штурм включает три обязательных этапа. Этапы отличаются организацией и правилами их проведения:
1. ПОСТАНОВКА ПРОБЛЕМЫ происходит на пр едварительном этапе. В начале этого этапа проблема должна быть четко сформулирована. На предварительном этапе происходит отбор участников штурма, определение ведущего и распределение прочих ролей участников в зависимости от поставленной проблемы и выбранного способа проведения штурма.
2. ГЕНЕРАЦИЯ ИДЕЙ . Основной этап, от которого во многом зависит успех всего мозгового штурма. Поэтому очень важно соблюдать правила для этого этапа:
• Главное — количество идей. Не делайте никаких ограничений.
• Полный запрет на критику и любую (в том числе положительную) оценку высказываемых идей, так как оценка отвлекает от основной задачи и сбивает творческий настрой.
• Необычные и даже абсурдные идеи приветствуются.
• Комбинируйте и улучшайте любые идеи.
3. ГРУППИРОВКА, ОТБОР И ОЦЕНКА ИДЕЙ . Этот этап часто забывают, но именно он позволяет выделить наиболее ценные идеи и дать окончательный результат мозгового штурма. На этом этапе, в отличие от второго, оценка не ограничивается, а наоборот, приветствуется. Методы анализа и оценки идей могут быть очень разными. Успешность этого этапа напрямую зависит от того, насколько «одинаково» участники понимают критерии отбора и оценки идей.
Для проведения мозговой атаки обычно создают две группы:
1) участники, предлагающие новые варианты решения задачи;
2) члены комиссии, обрабатывающие предложенные решения.
Различают индивидуальные и коллективные мозговые атаки.
В мозговом штурме участвует коллектив из нескольких специалистов и ведущий. Перед мозговым штурмом ведущий производит четкую постановку задачи, подлежащей решению. В ходе мозгового штурма участники высказывают свои идеи, направленные на решение поставленной задачи, причем как логичные, так и абсурдные. Если в мозговом штурме принимают участие люди различных чинов или рангов, то рекомендуется заслушивать идеи в порядке возрастания ранжира, что позволяет исключить психологический фактор «соглашения с начальством».
В процессе мозгового штурма, как правило, вначале решения не отличаются высокой оригинальностью, но по прошествии некоторого времени типовые, шаблонные решения исчерпываются, и у участников начинают возникать необычные идеи. Ведущий записывает или как-то иначе регистрирует все идеи, возникшие в ходе мозгового штурма.
Затем, когда все идеи высказаны, производится их анализ, развитие и отбор. В итоге находится максимально эффективное и часто нетривиальное решение задачи.
Успех мозгового штурма сильно зависит от психологической атмосферы и активности обсуждения, поэтому очень важна роль ведущего в мозговом штурме. Именно он может «вывести из тупика» и вдохнуть свежие силы в процесс.
Метод Дельфи (иногда дельфийский метод) появился в 1950-1960 годы для анализа планов атомной войны США (разработан корпорацией RAND, авторами считаются Olaf Helmer, Norman Dalkey, и Nicholas Rescher ). Имя заимствовано от Дельфийского Оракула. Является методом экспертного оценивания.
Суть метода Дельфи в том, чтобы с помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.
Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства. Дает возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты).
В настоящее время разработаны апробированные методы экспертного оценивания, позволяющие использовать их в практике управления здравоохранением и совершенствования отраслевой нормативно-правовой базы. Однако для их эффективного использования в здравоохранении требуется разработка ведомственных методических рекомендаций с учетом специфики деятельности органов управления и учреждений здравоохранения.
При подготовке публикации использованы материалы Википедии — свободной энциклопедии.
Источник