Новые методики электорального прогнозирования: Опыт Клуба любителей предвыборных прогнозов (25 января 2007)

Главная страница ~ Семинар "Полития" ~ Новые методики электорального прогнозирования: Опыт Клуба любителей предвыборных прогнозов (25 января 2007)

- методология построения экспертного прогноза итогов региональных выборов;

- результаты прогнозирования итогов весенней и осенней избирательных кампаний 2006 г. в сравнении с прогнозами, основанными на данных массовых опросов;

- возможности использования новых методик в ходе федеральных избирательных кампаний –

эти и смежные вопросы стали предметом обсуждения экспертов.

Заседание открылось специально подготовленным выступлением И.В.Задорина (Исследовательская группа "ЦИРКОН"). Выступление И.В.Задорина сопровождалось презентацией (450 kB), без обращения к которой использование отчета о семинаре будет крайне затруднено

NB!

Публикуемый отчет представляет собой сжатое изложение основных выступлений, прозвучавших в ходе семинара. Опущены повторы, длинноты, уклонения от темы, чрезмерно экспрессивная лексика. Отчет не является аутентичной стенограммой, но большинство прозвучавших тезисов, гипотез и оценок нашло в нем отражение.

И.Задорин:

Еще со времен наших первых конкурсов на лучший прогноз итогов выборов, с 1995 г. стало ясно, что методы прогнозирования, основанные на опросах населения, точнее методов, основанных на экспертных оценках. Эксперты, как правило, страдали приверженностью различным мифологическим представлениям, которые не могли не транслировать в своих прогнозах. Так, в 2003 г. лучшие результаты по прогнозированию оказались у Фонда "Общественное мнение" и Левада-центра, у всех экспертных центров, подавших прогнозы в ЦИК, результаты были хуже.

Но в 2005 г. региональные выборы стали проходить по партийным спискам, опросные методы стали давать сбои – сразу в нескольких регионах они не отразили точной картины электоральных предпочтений. Мы подумали, что это может быть связано со спецификой именно региональных выборов. Тут опросные методы имеют существенные ограничения, которые в той или иной степени могут стать преимуществами прогнозирования экспертного. Мы выявили три основных ограничения. Во-первых, систематические смещения выборок. Это связано с тем, что значительная доля населения (воинские части, больницы и т.п.), не может попасть в выборку вообще, при том, что на исход региональных выборов голосование этих групп влияет существенно. Во-вторых, не учитывается административный ресурс, который в рамках региональных выборов может сравнительно больше влиять на реальное голосование. Под административным ресурсом я имею в виду не только банальный вброс бюллетеней, но и, скажем, доставку избирателей на автобусах из сельских населенных пунктов. Третий фактор – состояние информационного поля. В рамках федеральных кампаний оно оказывается насыщенным уже за несколько месяцев до выборов. На региональном уровне сама кампания укладывается в последние три недели. Такое информационное поле не способствует созданию определенных электоральных предпочтений.

Эти ограничения в известной степени являются преимуществами экспертного прогнозирования. Эксперт может учитывать административный ресурс, поскольку он знаком с политической ситуацией в регионе. Эксперт, следящий за предвыборной кампанией, знаком с информационным полем, с информационной активностью основных субъектов. Он учитывает и электоральную историю, преодолевая тем самым ограничение, связанное со смещением выборок.

Все это и подвигло нас на эксперимент, который называется "Клуб любителей предвыборных прогнозов". Он был создан весной прошлого года и объединил ведущих экспертов из разных независимых исследовательских центров (состав клуба – слайд 4). Первоначально эксперимент был для нас методологической игрушкой. Подчеркну, что эта работа никем не заказывалась и никем не финансировалась.

(слайд 5) Мы мерили только два основных параметра: электоральную активность и электоральные предпочтения. Эксперт давал по две оценки на каждый из параметров: минимальную и максимальную. Получался некий диапазон значений

Всего весной и осенью прошло по две экспертные сессии, по два тура прогнозирования. После первого тура эксперты обсуждали результаты и, возможно, корректировали свои оценки.

(слайд 7) Теперь о самой технике. Возьмем в качестве примера оценки одного из экспертов по Республике Карелия. По некоторым партиям, которые обычно считаются достаточно сложными для прогнозирования, эксперт задавал большой диапазон значений. По другим партиям – например, по коммунистам – оценки были в небольшом диапазоне. По известной, крупной партии, которая набирает больше всех, диапазон значений тоже большой, это традиционно так.

Фактически эксперт задавал поле возможных сценариев. Сумма по нижнему порогу меньше 100 %, по верхнему – больше. При анализе отсекались экспертные сценарии, которые заведомо являлись показателями существенной неопределенности (меньше 70 или больше 130 процентов суммарно). Мы говорили экспертам, что непозволительно задавать слишком широкие диапазоны, допускающие много реализаций.

Что мы делали дальше?

(слайд 8) Вот 12 экспертов дали свои диапазоны оценок по "Единой России" в Новгородской области. Отбрасываем две крайние оценки снизу и две крайние оценки сверху, остальные участвуют в дальнейшем усреднении. В итоге получилось, что средняя оценка экспертов почти совпала с реальными итогами выборов. Довольно часто так и происходило, что нас удивляло.

(слайд 10) Прогноз по явке. В 6 регионах из 9 получился очень точный прогноз. По двум регионам прогноз был явно неудачным: по Новгородской и Свердловской областям. Но этому есть объяснение.

Вот результаты выборов по отдельным регионам. Почти везде экспертная оценка находится в пределах 3-4%. В Чувашии количество партий было небольшим. Здесь прогнозные оценки практически полностью совпали с итогами выборов.

(слайд 18) Два неудачных региона. Тыва, где "Единая Россия" получила существенно меньше, чем прогнозировалось, а РПЖ значительно больше. Все, кто знает историю этих выборов, прекрасно понимают, почему так получилось – раскол местной элиты и существенное использование административного ресурса в конце кампании в пользу РПЖ.

(слайд 19) Свердловская область. Партия пенсионеров получила существенно больше, чем прогнозировалось.

(слайд 20) По отдельным партиям. "Единая Россия". Три региона, в которых прогноз можно считать неудачным: Тыва, а также Приморский край и Липецкая область, где эксперты недооценили потенциал "Единой России".

(слайд 21) РПЖ. В Тыве явная недооценка, во всех остальных довольно прилично.

(слайд 22) Российская партия пенсионеров систематически недооценивалась, особенно в Свердловской области.

(слайд 23) ЛДПР систематически переоценивалась. Это один из показателей осенней кампании.

(слайд 24) КПРФ очень хорошо прогнозировалась. Максимальный разброс – 5%.

Таким образом, результаты работы клуба, на наш взгляд весьма показательные и успешные.

Коюнов:

Вы не планируете применять итерации дельфийского типа? И второй вопрос – в ваших данных есть раскладка качества прогнозов по отдельным экспертам?

И.Задорин:

Нет, раскладки по экспертам нет, это принципиальная позиция. По поводу итераций – весной этого не было, а осенью попытались сделать что-то подобное. После первого тура, когда мы получили обобщенные экспертные оценки, было проведено их обсуждение. Мы обменялись не только самими оценками, но и их обоснованием. Я думаю, что во втором туре прогнозирования это учитывались.

Коюнов:

Сильно отличались результаты после итерации?

Задорин:

Различия были, но они, конечно, связаны не только с самой итерацией, но и просто с тем, что эксперты следили за ситуацией в регионах. Вычленить влияние этого предварительного обсуждения довольно трудно.

Е.Галицкий:

На какой информации основывались сами эксперты? В частности, использовали ли они результаты массовых опросов?

И.Задорин:

Я здесь представил два вопроса из нашей анкеты, но на самом деле было еще два. Один вопрос казался прогноза вероятности снятия каких-либо списков с выборов. Второй опрос был как раз об источниках информации. Было четыре альтернативы: собственный опыт, источники в регионах, т.е. некое местное информационное поле, электоральная статистика и опросы общественного мнения. Весной только один эксперт сказал, что опирался на опросы – это был я. В осенней сессии из десяти экспертов на опросы опирались трое. Я не думаю, что оставшиеся семь вообще не смотрели опросы, но таким образом они оценивали их значение.

О.Савельев:

А были ли опросы в регионах? Как они соотносились с официальными итогами?

И.Задорин:

Были опросы, но к этому обсуждению они не имеют отношения, поскольку это находится за пределами проблемы экспертного прогнозирования. Тем не менее скажу, что мы действительно сравнивали результаты в тех случаях, когда данные опросов были нам известны. Но вообще-то региональные предвыборные опросы, как правило, непубличны. Не публиковались их результаты и на этот раз.

А.Музафаров:

За какой срок до выборов были получены прогнозы?

И.Задорин:

Первый тур проходил за 3-4 недели до выборов, второй – за 10 дней. Результаты были готовы за неделю.

С.Каптерев:

Итоги предыдущих выборов как-то влияли на экспертную оценку?

И.Задорин:

Итогов предыдущих выборов просто не было, потому что выборы в законодательные собрания регионов по партийным спискам проходили впервые.

А.Кынев:

Добавлю реплику. Из состава участников региональных выборов до 2/3 не участвовали в выборах в Госдуму 2003 г. Так что сравнивать можно результаты только по 3-4 партиям.

А.Музыкантский:

Какой численный состав группы экспертов Вы считаете оптимальным?

И.Задорин:

Методологического обоснования отбора экспертов мы не делали. Но кажется, что дальнейшее увеличение их числа мало что даст. Так, в пермских прогнозах участвовало 15 экспертов: к 10 членам клуба мы добавили пятерых региональных. Существенной разницы не было. По опыту 10-12 экспертов дают хорошую кучность прогноза.

Е.Галицкий:

Имеет ли смысл вводить различия между экспертами в зависимости от их предыдущих достижений? Возможно, стоит спрашивать самого эксперта, насколько квалифицированно он может высказаться по данному субъекту?

И.Задорин:

После первой, весенней волны, конечно, напрашивалось желание "взвесить" экспертов. И мы действительно оценивали качество прогнозов, подводили итоги и награждали лучших членов клуба по разным номинациям. Но мы не использовали веса при оценке. Для этого нужно несколько туров, где бы мы проверяли сохранение качества. Могу пока сказать, что улучшение общего прогноза происходит, но оно незначительное.

С.Каспэ:

Будет ли клуб пытаться работать с федеральными выборами? Если да, то не планируется ли трансформировать состав клуба? И какие ожидания Вы связываете с подобным экспериментом?

И.Задорин:

Вообще-то мы бы хотели преобразоваться из клуба любителей в клуб профессионалов. На этих двух волнах была показана эффективность метода. Клуб может начать свою работу на тех же условиях, на каких работают другие центры, которые делают свои оценки публичными. Мы предполагаем приобщение к нашей работе и других экспертов, но у нас пока в программе – весенняя кампания в 14 регионах.

Л.Преснякова:

Каков принцип отбора экспертов и как он влияет на результаты прогнозирования? Насколько осмысленно включение экспертов из регионов? Сколько в этом случае должно быть экспертов из центра, и сколько – с мест?

И.Задорин:

Как я уже говорил, мы не применяли никаких специальных методов отбора экспертов. Я просто направил приглашения 20 известным региональным специалистам. Весной из них согласилось 11, осенью – 12. А в привлечении региональных экспертов, как показал опыт, осмысленного мало. То, что в регионах якобы лучше знают ситуацию, оказалось мифом.

А.Титков:

Добавлю, что в некотором смысле оценка качества нашей оценки была дана в ходе осенней сессии. Будучи преподавателем Высшей школы экономики, я задал те же самые вопросы студентам-политологам выпускного курса, предварив их лекцией о ситуации в регионах. Результат такого спонтанного студенческого прогнозирования оказался качественно хуже. Был, кстати, скандальный случай, когда одна студентка записала во всех регионах: "Единая Россия" – 50%, КПРФ – 20%, РПЖ – 10%. И этот прогноз долго держался в первой тройке лучших!

О.Савельев:

Я с 1991 г. занимаюсь прогнозированием. Эту работу мы ведем со времени с референдума 1991 г. Хороший был прогноз и на выборах президента России в июне 1991 г. Тогда мы показали, и что в первом туре побеждает Ельцин, и что значительное число голосов получает Жириновский. В декабре 1993 г. прогноз был, правда, неудачный, но стоит напомнить, что все выборы тогда уместились в два месяца, а публиковать результаты опросов по закону можно было не позднее, чем за 10 дней. При такой кампании получить надежные данные невозможно. И все же в газете "Сегодня" на следующий день после выборов Егор Гайдар заявил, что не считает итоги неожиданными, поскольку у него был результат ВЦИОМ.

Потом был конкурсы ЦИК, когда различные службы подавали свои прогнозы. И конкурсы показали, что лучшие прогнозы – те, которые основаны на данных опросов. На последнем таком конкурсе, перед выборами в Госдуму 2003 г., мы специально передали в ЦИК результаты самих опросов, даже не корректируя их на прогноз, и поделили с ФОМом первое место. Последние выборы в Мосгордуму также показали, что наши данные были наиболее верными.

Но надо пользоваться только данными опросов, проведенных надежными службами. У нас недавно выступал представитель европейской социологической службы "Сириус". Он сказал, что в ФРГ исследованиями занимаются 50 фирм, а осмеливаются давать прогнозы лишь 3-4. Потому что ошибающийся там теряет лицо и заказы, а в России этого не происходит. Заказчика часто интересуют не результаты, а откаты.

Добавлю еще такой момент – в регионах сложнее проводить опросы, чем на общероссийском уровне. Есть чудовищно сложные регионы. Мы проводили первый опрос по Московской области лет шесть назад. Так две недели выборщики воевали с полевиками. Они доказывали, что в тот или иной район проще попасть из Калуги или из Твери, чем из Москвы. Но в итоге мы все же сделали качественный прогноз, который совпал с итогами выборов.

О.Каюнов:

Сравнивая опросные и экспертные прогнозы, мы забыли об американской системе прогнозирования "Iowa electronic markets", которая давала очень точные прогнозы в США. У нас никто никогда не пытался ее внедрить, хотя интернет, который для нее необходим, у нас за это время развился в достаточной степени.

А.Музафаров:

У нас складывается похожая ситуация, когда результаты региональных опросов дают определенные сбои. Избирательная кампания в регионах скоротечна, она вся проходит в последние три недели, а полевой опрос занимает чуть меньше недели. Мнение избирателей за это время успевает поменяться. Наиболее эффективен в регионах комбинированный метод, когда к количественному опросу мы добавляем качественные исследования: VCM, глубинные интервью и т д. Мне кажется, что будущее за комплексными исследованиями.

А.Рощин:

К общему одобрению представленной методики добавлю ложку дегтя, чтобы оживить дискуссию. Может, дело просто в том, что итоги выборов становятся управляемыми, и эксперты выигрывают именно по этой причине? Эта гипотеза объясняет и то, почему люди непосредственно из регионов хуже предсказывают итоги выборов. Экспертам в Москве лучше известны ветры, дующие в стране. Возможно, дело именно в этом?

Г.Кертман:

Главное – не степень зарегулированности выборов, а сам политический контекст. Чем менее значимы выборы для избирателей, тем менее эффективен опросный прогноз. Опросные прогнозы 1996 и 2005 гг. принципиально различаются. В 1996 г. было четко размечено политическое поле, были четко обозначены политические предпочтения. Сегодня правила игры избирателям неизвестны, для них неясен смысл выборов вообще, поскольку сама политическая роль региональных законодательных собраний неочевидна. Устраняются местные блоки, вводятся ограничения на предвыборную агитацию, упраздняется графа "против всех"… Весь этот набор ограничений объективно снижает возможность эффективного прогнозирования на опросах. К тому же – чем ниже уровень явки, тем менее эффективен опросный прогноз. Для экспертов все эти факторы гораздо менее значимы. Если тенденция к возвращению политики будет развиваться, опросные методы снова станут доминирующими. Если возобладает противоположная тенденция, то экспертные прогнозы смогут вытеснить опросные.

Л.Преснякова:

Наша методика прогнозирования предполагает сочетание количественного опроса, качественных методов в виде фокус-групп и вопросов, задаваемых представителям региональных элит. Затем в ходе экспертной сессии мы совмещаем полученные данные с нашей информацией о ситуации в регионах. И эффективность наших прогнозов я бы оценила как достаточно высокую. Явку прогнозировать проще всего. Результаты "Единой России" в прогнозах Игоря более похожи. С ЛДПР у нас та же самая ситуация – больше всего отклонений. Но у меня остается вопрос: что делать с маленькими партиями, как прогнозировать их результаты, особенно учитывая процентный барьер?

Г.Чижов:

Тут выступили представители социологических центров. И сложилось впечатление, что они восприняли предложения Задорина… осторожно, как будто Игорь Вениаминович бросил вызов классической науке. Но нам в клубе никогда не приходило в голову заменить экспертными прогнозами классические опросы. Как бы мы к нашим прогнозам не относились, никто не будет принимать их за единственную точку отсчета перед следующими выборами. Поэтому интересно было бы услышать мнение социологов о возможностях параллельного применения различных методик – эксперты ведь могут работать и с более хитрыми параметрами, а не только с процентами. В любом случае это лишь дополнительный инструмент, на основе которого можно разработать целое семейство методик.

Л.Вдовиченко:

Я начинала в свое время с прогнозирования выборов в зарубежных странах, причем мы использовали только экспертные методики. По этому опыту могу сказать, что для экспертов необходимая некая вводная информация, которая готовила бы их к участию в работе – справка или сборник материалов, который может подготовить организатор сессии.

Также мы обратили внимание, что очень часто более точные прогнозы дают представители другой страны. Так, когда выборы проходили во Франции, лучшие прогнозы давали немцы, а во время выборов в США – англичане. В зарубежной науке это объясняется тем, что "внутренние" эксперты находятся под влиянием своего же электорального поля, а зарубежные смотрят со стороны. Поэтому интересно было бы сравнить наши прогнозы с прогнозами зарубежных экспертов, если, конечно, таковые имеются.

Еще важно, что прогноз может оказывать влияние на корректировку результатов выборов. Мы ведь знаем, что есть модельные субъекты Федерации, информация из которых рассматривается на федеральном уровне как важный показатель. Например, информация о явке на Чукотке является стимулом для включения административного ресурса, чтобы добиться иной явки в других часовых поясах, тем самым способствуя неосуществлению прогноза. Этот эффект тоже надо будет принимать во внимание, особенно на федеральных выборах.

Прогноз экспертов был и будет некой фазой общей работы – первой, второй или третьей. Допустим, сначала прогноз, основанный на соцопросах, потом "мозговая атака" экспертов. И поэтому, кроме исключения крайних оценок, как это было сделано в рассматриваемом случае, надо отработать технику всех оценок, чтобы с помощью определенной математической процедуры получить усредненное значение.

А.Кынев:

Коллега Рощин указал на связь качестве прогноза со степенью административной заорганизованности выборов. Могу возразить: наиболее административно контролируемые выборы оказались и наименее прогнозируемыми. Это национальные этнические республики. Когда проходили заседания клуба, эксперты постоянно делали оговорки по их поводу. Например, по Тыве общая оговорка состояла в том, что было непонятно, в каких масштабах будет произведена массовая фальсификация, которая для этого региона является просто нормой. А регионы, где развернулась реальная конкурентная борьба, оказались в наибольшей степени прогнозируемыми.

Могу также сказать, что в анкете клуба эксперту предлагалось отказаться от участия в прогнозировании, если он не считает себя специалистом по конкретному региону. Участвовавшие тем самым a priori утверждали, что они имеют некоторое представление о ситуации в субъекте.

Еще хочу отметить, что при выдаче прогноза мной учитывалось не только общее представление о кампании в субъекте, но и знание о персоналиях, о лидерах списков. Существует феномен "последнего дня", когда люди реагируют на фигуру конкретного харизматического политика. В этом смысле региональные выборы последних лет говорят о том, что никакого линейного распределения неопределившихся не происходит. Есть регионы, в которых есть лидеры с мобилизованным, хорошо организованным электоратом, который в опросных данных может отразиться не очень явно. Но мы-то хорошо знаем, что этот политик свой электорат всегда мобилизует. Пример – Черепков.

Еще одно замечание – по Партии пенсионеров данные экспертов всегда гораздо ближе к реальности, чем данные социологии.

Может быть, со временем наша методика работать и перестанет, но пока она адекватна.

Л.Преснякова:

По поводу персонифицированности региональных выборов. Мы постоянно мониторим отношение к представителям первых троек списков. В лучшем случае знают губернатора, а все остальные персоналии не ассоциируются с партией. Пример Черепкова – скорее исключение.

Г.Кертман:

Я бы сказал, что особенность региональных выборов – как раз недостаточная персонифицированность партийных списков. Поэтому и заставляют партийных лидеров из Москвы приезжать и заполнять своими визитами эту лакуну.

Е.Галицкий:

Как мне кажется, в ситуации с прогнозированием выборов сейчас происходит перелом. Вопрос в том, есть ли еще мальчик – или уже нет. Мы говорим о том политическом действии, которое очень мало волнует подавляющее большинство его субъектов: будут ли они, не будут бросать бюллетени в урну – какая разница? Сам предмет оценок становится слишком сильно подверженным разнообразным ветрам и специально пригнанным автобусам.

Вновь появилась еще одна важная вещь – социально одобряемые ответы. Это тот самый фактор, который так повлиял на прогноз по Жириновскому в 1993 г. Тогда было неприлично отвечать, что будешь голосовать за Жириновского, но возможно опускать за него бюллетень. Какие ответы социально одобряемы сейчас – ясно. Это такое обстоятельство, которое трудно оценивать. Но, несмотря ни на что, могу сказать, что прогнозы Фонда "Общественное мнение" пока не отличаются большими погрешностями.

И.Задорин:

Обобщая все сказанное, можно выделить два момента. Все подтвердили, что эффективность экспертных прогнозов на региональных выборах связана с тем, что это не федеральные выборы, и согласились с тем, что наблюдается скорее снижение эффективности опросного прогнозирования, а не рост эффективности экспертных оценок. Необходимо, чтобы эти два метода дополняли друг друга. Мы, конечно же, так и делаем. Вот еще пара слайдов:

(слайд 28) У нас в "Цирконе" были только данные ВЦИОМ по нескольким регионам. Они подвергались моделированию по вероятностной модели электорального поведения, потом появлялись экспертные оценки в рамках клуба. Третий этап – небольшая коррекция с учетом динамики, то есть прошлой электоральной статистики. Кроме того, на федеральных выборах мы всегда совмещаем данные нескольких опросных центров, учитывая, что системные ошибки у них могут быть разные.

Еще одно: точность прогнозов мы оцениваем, сравнивая их с официальными результатами выборов. Возникает вопрос, удовлетворителен ли этот критерий точности. Хочу привести случай Пермского края.

(слайд 29) Хорошо спрогнозировали "Единую Россию". Но есть два момента, которые всех разочаровали. Официальные итоги у Партии пенсионеров существенно ниже (минус 6%), СПС – выше (плюс 6%). Но что такое 5-6% ошибки при явке в 30%? Это же 1,5% от всех избирателей! При том, что именно на последней неделе СПС сконцентрировал свою пропаганду на пенсионерах, а Партия пенсионеров вообще закрыла офис. Что такое переход 1,5% избирателей из одного лагеря в другой? Можно ли это вообще предвидеть социологическими средствами?

И последнее. Не было пока случая, не было ни одних выборов, чтобы кампания обошлась без сюрпризов. Это означает, что полной управляемости выборов пока нет – и слава Богу!