Тема 6. МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК В ИССЛЕДОВАНИИ СИСТЕМ УПРАВЛЕНИЯ

Лекция 10. Сущность и организация экспертных методов исследования систем управления

10.1. Понятие и сущность экспертных методов

Экспертиза − это мнение, идея, решение или оценка, основанные на реализации ценного опыта, глубоких знаниях предмета исследования и технологиях качественного анализа.

Сущность экспертных методов как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Интуитивные (экспертные) методы исследований используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Организация работы экспертов

Для общего руководства экспертными работами назначается председатель экспертной комиссии.

В составе комиссии организуют две группы: рабочая и экспертная.

Рабочая группа предназначена для осуществления технических работ по подготовке материалов к работе экспертов, обработке результатов экспертизы и т.п.

В состав рабочей группы входят:

· руководитель-организатор рабочей группы;

· технические работники;

· представитель организации;

· эксперт-консультант.

Экспертная группа предназначена для проведения экспертизы.

В экспертную группу входят эксперты-специалисты по решаемым проблемам. Формирование группы осуществляет руководитель-организатор рабочей группы.

Формирование экспертной группы включает в себя следующие этапы:

· постановка проблемы и определение области деятельности группы;

· составление предварительного списка экспертов в рассматриваемой области деятельности;

· анализ качественного состава предварительного списка экспертов и уточнение списка;

· получение согласия эксперта на участие в работе;

· составление окончательного списка экспертов.

Количество экспертов в экспертной группе зависит от важности решаемой проблемы; имеющихся возможностей, используемых методов. В любом случае определяется минимальное число экспертов.

Подбор экспертов

Подбор экспертов проводится на основе анализа качеств каждого из них.

Способы, используемые для оценки уровня компетентности экспертов:

· на основе статистического анализа результатов прошлой деятельности в качестве экспертов по рассматриваемым проблемам;

· на основе коллективной оценки кандидата в эксперты как специалиста в данной области;

· на основе самооценки кандидата в эксперты;

· на основе аналитического определения компетентности кандидата в эксперты.

На практике часто используют одновременно несколько способов. Такой подход позволяет обоснованно подобрать экспертов с необходимыми качествами. Но выбор с учетом результатов прошлой деятельности является наиболее объективным.

Требования к экспертам

1) Профессиональная компетентность в области исследования.

2) Научная интуиция, аналитичность и широта мышления.

3) Конструктивность мышления − способность предлагать решения, обладающие свойством практичности.

4) Креативность мышления (умение решать творческие задачи).

5) Заинтересованность в объективных результатах экспертной работы.

6) Деловитость (собранность, умение переключаться с одного вида деятельности на другой, мотивированность действий).

7) Отсутствие конформизма, устойчивость собственного мнения, независимость суждений эксперта от мнений авторитетов.

8) Коллективизм (способность работать в группе).

9) Самокритичность.

Разновидности сбора мнений экспертов

По фактору участия экспертов в работе: индивидуальная, коллективная и смешанная формы.

По методу сбора экспертных оценок: анкетирование, интервьюирование, дискуссию, мозговой штурм, метод Дельфи, совещание, деловую игру, сценарий.

Мозговой штурм

Метод предназначен для группового обсуждения проблем и может использоваться в качестве вспомогательного средства на этапе выдвижения гипотез. Состав группы: 7−12 человек.

Правила проведения мозгового штурма:

· по рассматриваемому вопросу можно рассматривать какие угодно идеи;

· ответы должны быть краткими и простыми по формулировке;

· время выступления каждого участника 1-2 минуты;

· выступать можно несколько раз, но нельзя одному человеку говорить долго;

· запрещена критика участников и их предложений в любой форме вербальной и невербальной;

· количество идей важнее их качества;

· все высказывания фиксируются и объективизируются;

· поощряются оригинальные, даже фантастические идеи, а также комбинация и обобщение идей;

· разрешается задавать вопросы с целью уточнения идеи;

· задаваемые вопросы должны предусматривать краткий (без обоснования) ответ;

· все участники мозгового штурма должны быть юридически и административно независимы друг от друга;

· синтез, критика и оценка идей проводятся специальной группой в конструктивной форме.

Мозговой штурм проводится в три этапа:

1) этап генерации идей (15-20 минут);

2) комбинирование (15-20 минут)

3) оценка и критика идей.

Каждая идея рассматривается в соответствии со следующими критериями:

· соответствие идеи предпосылкам и начальным требованиям;

· возможность реализации идеи или отсутствие таковой;

· срок внедрения;

· фактор соответствия этическим требованиям;

· фактор затрат на реализацию идеи;

· новизна идеи.

Преимущества мозгового штурма: возможность получения большого количества оригинальных идей; малые затраты времени; научная обоснованность результатов при обработке.

Недостатки мозгового штурма: сложность создания благоприятной обстановки; неизбежность личностного контакта, снижающего смелость высказывания идей; возможность получения абсурдных идей.

Метод Дельфи

Метод Дельфи − метод экспертной оценки будущего, то есть экспертного прогнозирования.

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки и техники, математико-статистической обработке полученного массива информации и корректировке экспертами своих оценок на основе каждого цикла обработки.

В целях минимизации расходов на экспертизу необходимо ограничивать количество привлекаемых для работы экспертов. Минимальное число экспертов определяют по формуле:

, где b − ошибка прогнозирования; .

Ответы экспертов должны быть стабилизированы. О достижении стабилизации свидетельствует тот факт, что включение или исключение одного эксперта изменяет относительную оценку не более чем на величину b.

Основные принципы прогнозирования по методу Дельфи:

1) вопросы в анкетах ставятся так, чтобы ответам экспертов можно было дать количественную характеристику;

2) опрос экспертов производится в несколько туров с последующим уточнением вопросов и ответов экспертов от тура к туру;

3) эксперты должны быть ознакомлены с результатами опроса после каждого тура;

4) эксперты должны обосновать оценки и мнения, отличающиеся от мнения большинства;

5) статистическая обработка ответов происходит последовательно от тура к туру для получения обобщенных характеристик.

С помощью Дельфи выявляется преобладающее мнение специалистов по проблеме в обстановке, исключающей личностные контакты, но позволяющей периодически оценивать свою оценку с учетом оценок и доводов коллег. Пересмотр прежних оценок с учетом мнений каждого из экспертов, последующий анализ совокупности причин, представленных экспертами, позволяет учитывать те факторы, которые изначально были упущены как незначительные.

Требования к реализации метода Дельфи

1) группы экспертов должны быть стабильными, минимальной численности;

2) время между турами опросов должно быть не более месяца;

3) анкеты должны быть тщательно продуманы, вопросы четко сформулированы;

4) число туров должно быть достаточным, чтобы все участники имели возможность ознакомиться с причинами тех оценок, которые дали эксперты, а также для критики этих причин;

5) отбор экспертов должен проводиться систематически;

6) необходимо иметь самооценку компетентности экспертов по рассматриваемым проблемам;

7) необходимо иметь формулу согласованности оценок, основанных на данных самооценок;

8) следует установить влияние различных видов передачи информации экспертам по каналам обратной связи;

9) необходимо установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

Метод сценариев

Метод подготовки и согласования представлений о проблеме или анализируемом объекте, изложенный в письменном виде, получил названиесценариев. Первоначально он предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, развернутые во времени. Однако позднее обязательное требование временных координат было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы и предложения по ее решению или по развитию системы, независимо от того, в какой форме он представлен. Как правило, на практике предложения для подготовки подобных документов пишутся экспертами вначале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения, помогающие не упустить детали, которые невозможно учесть в формальной модели (в этом собственно и заключается основная роль сценария), но и содержит, как правило, результаты количественного технико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подготавливающая сценарий, пользуется обычно правом получения необходимых справок от предприятий и организаций, необходимых консультаций.

Обычно сценарий разрабатывается для прогнозирования развития различных систем, предварительной оценки эффективности и возможного хода выполнения сложной операции и включают описание всех этапов жизненного цикла системы или операции. В дальнейшем такое описание является основой для разработки формализованных моделей различных этапов развития системы. Иначе говоря, сценарий является своеобразной описательной моделью, с которой начинается исследование любой системы в соответствии с этапами моделирования. На практике по типу сценариев разрабатывались прогнозы в отраслях промышленности. Разновидностью сценариев можно считать комплексные программы научно-технического прогресса и его социально-экономических последствий.

Роль специалистов по системному анализу при подготовке сценария:

· помочь привлекаемым ведущим специалистам соответствующих областей знаний выявить общие закономерности системы;

· проанализировать внешние и внутренние факторы, влияющие на ее развитие и формирование целей;

· определить источники этих факторов;

· проанализировать высказывания ведущих специалистов в периодической печати, научных публикациях и других источниках научно-технической информации;

· создать вспомогательные информационные фонды (лучше автоматизированные), способствующие решению соответствующей проблемы.

Сценарий позволяет создать предварительное представление о проблеме (системе) в ситуациях, когда не удается сразу отобразить ее формальной моделью. Но все же сценарий — это текст со всеми вытекающими последствиями (синонимия, омонимия, парадоксы), связанными с возможностью неоднозначного его толкования разными специалистами. Поэтому такой текст следует рассматривать как основу для разработки более формализованного представления о будущей системе или решаемой проблеме.

Написание сценария – это метод, который пытается установить логическую последовательность событий, чтобы показать, как, исходя из существующей ситуации, может шаг за шагом развертываться будущее состояние. Описание обычно совершается в явно выраженных временных координатах; эта особенность существенна при прогнозировании в области политических проблем, однако для целей технологических прогнозов введение явной зависимости от времени не всегда обязательно.

Основное назначение сценария − определение генеральной цели развития объекта прогнозирования, выявление основных факторов фона и формулирование критериев для оценки верхних уровней дерева целей.

При разработке сценария, поскольку в этом принимает участие группа специалистов, имеющих субъективные суждения, всегда возникает неопределенность. Ценность сценария тем выше, чем меньше степень неопределенности, т.е. чем больше степень согласованности мнений экспертов в осуществимости события, системы и т. д.

Поэтому нельзя упускать из поля зрения следующие вопросы:

1) насколько велика существующая неопределенность?

2) что следует сделать, чтобы ее уменьшить?

3) какова ожидаемая степень уменьшения неопределенности при продолжении разработки?

Метод базируется на итеративной последовательности построения сценариев с целью выбора подходящей альтернативы управления.

Принципы, лежащие в основе метода.

1. Принцип последовательного разрешения неопределенности (итеративный процесс)

2. Принцип содержательного и формального описания объекта управления.

Содержательное описание − фразами, обычным языком (не формализуется, хотя есть какие-то формальные элементы − цель формирования системы; ее принципы; закономерности, параметры, факторы).

Формальное описание − определение дается формальным языком (это может быть математический аппарат).

3. Принцип исследования сценариев в развитии.

Цель метода – получение научно обоснованного прогноза для принятия управленческих решений.

Сценарий – это гипотетическая картина последовательного развития во времени и пространстве событий, составляющих эволюцию объектов управления.

Для построения сценариев оперируют следующими понятиями:

1. Внутренние и внешние факторы:

· внутренние факторы − внутренняя структура системы, взаимосвязь между ее элементами, закономерности ее развития

· внешние факторы − взаимодействие системы с системой более широкого класса (макро- и микросредой)

2. Сценарные параметры − это непредсказуемые факторы, влияющие на систему.

3. Ограничение (каждая система находится в рамках, ограничивающих ее состояние):

· естественные (обусловленные природной средой, в которой находится система, например, климатические условия и т.д.)

· нормативные (связанные с правовой средой и всевозможными нормами поведения – культура, обычаи, традиции, мораль, религия, нравственность)

4. Индикатор сценария − это критичный к предельным состояниям объекта управления параметр. Это параметр, который ограничивает состояние системы по каким-то определенным направлениям (порог, который нельзя переходить, чтобы не вызвать разрушение системы).

Процедура сценарного метода – это определение гарантированного прогноза, т.е. границ, за которые развитие системы выйти не может по объективным причинам. Т.е. это построение трубки прогноза (Рис. 14).

Рис. 14. Трубка прогноза

Процедура построения сценария:

· Задаются максимально возможные значения параметров тех факторов, которые положительно влияют на развитие системы, и минимальные значения тех факторов, которые препятствую ее развитию, и в этих условиях выбираются «идеальное» из допустимых управление и соответствующее ему состояние системы. Эта процедура называется «определение потенциала системы».

· Минимизируется действие положительных факторов и максимизируется действие отрицательных, т.е. определяется нижний предел развития системы.

В этом коридоре можно получить наиболее вероятное состояние системы и направить усилия на поддержание этого состояния.

Основной недостаток – «трубка» очень широка; задача вероятностного характера (применяются вероятностные методики).

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме.

К недостаткам можно отнести возможные: неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованность отдельных решений.