Возможности корректировки потенциальных ошибок прогнозирования

В данной статье рассматривается вопрос о возможности корректировки потенциальных ошибок прогнозирования на этапе построения прогнозов. Для этой цели мы используем четыре модифицированные методики, основанные на стандартной методике, рассматриваемой в работах Клементса и Хендри (Clements, Hendry, 1998a, 1998b) и Энтова, Носко и др. (2002). Отметим, что модифицированные методики позволяют проводить корректировку прогнозов в режиме «реального времени».

Стандартная методика предполагает использование двух методов корректировки, основанных на использовании информации об ошибке прогнозирования одношаговых прогнозов. Соответственно, обычно используются методы корректировки на величину одношаговой ошибки прогнозирования на предыдущем шаге («back-on-track») и корректировки на величину средней ошибки всех предыдущих одношаговых прогнозов («back-on-average»). Опишем эти методы более подробно.

Первый метод предполагает пересчет прогнозного значения в зависимости от ошибки прогноза на предыдущем шаге, т.е.

где – скорректированное значение одношагового прогноза на момент Т+1, сделанного в момент Т, f_T,1 – одношаговый прогноз на момент Т+1, сделанный в момент Т, e_T-1,1 – ошибка прогнозирования на предыдущем шаге, т.е. e_T-1,1=y_T - f_T-1,1 – разность истинного значения прогнозируемой переменной в момент прогнозирования Т и его прогноза на момент Т, сделанного в момент Т–1, т.е. прогноз, сделанный «вчера на сегодня».

Второй из стандартных методов – корректировка на величину средней ошибки всех известных предыдущих одношаговых прогнозов – предполагает пересчет прогнозного значения на величину, равную

где – истинное значение показателя y в момент времени T–i+1, f_T-i,1 – прогнозное значение показателя y, сделанное в момент времени T–i на один шаг вперед. Таким образом, скорректированный прогноз рассчитывается по формуле:

Отметим, что согласно результатам работы Энтова, Носко и др. (2002) второй метод позволяет достигать существенно лучших результатов по сравнению с первым методом для большинства рассмотренных в этой работе российских макроэкономических показателей. В работе также отмечается, что оба метода приводят к устранению систематической ошибки прогнозирования, если таковая присутствовала, но при этом нередко ухудшается качество получаемых прогнозов. Т.е. сделать однозначный вывод о том, что рассматриваемые методы корректировки ошибок однозначно улучшают качество прогнозов, нельзя. Основной проблемой, возникающей при попытке использовании для целей корректировки прогнозов методов 1 и 2, является практическая невозможность использовать их в режиме «реального времени», т.е. когда мы строим прогноз «сегодня на завтра», поскольку в текущей момент времени у нас нет информации об истинном значении показателя в данный момент времени. Это верно для абсолютного большинства российских (и не только) макроэкономических рядов¹, за исключением показателей курсов рубля и евро, для которых возможно использовать стандартные методы корректировки. Для всех остальных показателей мы предлагаем новый подход, который позволяет использовать для корректировки прогнозов всю имеющуюся на момент прогнозирования информацию. Предлагаемые в настоящем исследовании методы позволяют, во-первых, корректировать прогнозы в «реальном времени», а во-вторых, проводить корректировку не только одношаговых прогнозов, но и прогнозов на более длинные горизонты времени.

Метод 1. Корректировка на величину ошибки одношагового прогноза в последний известный момент времени: все прогнозы в момент времени Т (т.е. прогнозы на 1, 2, …, 6 шагов вперед) корректируются на величину последней известной ошибки прогноза. Такая ошибка рассчитывается по формуле:

e_T-i,1 = y_T-i+1 - f_T-i,1

где i=3 для большинства рассматриваемых рядов², y_T-i+1 – истинное значение прогнозируемой переменной в момент Т–i+1, f_T-i,1 – прогноз интересующего нас показателя на момент Т–i+1, сделанный в момент Т–i.

Тогда скорректированное значение k–шагового прогноза на момент Т+k (k=1, …, 6), сделанного в момент Т, будет равно сумме прогноза f_T,k, и ошибки прогнозирования на предыдущем шаге e_T-i,1:

Метод 2. Корректировка на величину среднего значения всех известных ошибок одношаговых прогнозов. В данном случае прогноз корректируется на величину, равную

где – истинное значение показателя y в момент времени T–j+1, f_T-j,1 – прогнозное значение показателя y, сделанное в момент времени T–j на один шаг вперед. Таким образом, скорректированный прогноз рассчитывается по формуле:

Метод 3. Корректировка текущего k–шагового прогноза на величину последней известной ошибки k–шагового прогноза, т.е. на величину

e_T-i,k = y_T-i+k - f_T-i,k

где i=3 для большинства рассматриваемых рядов, k=1, …, 6, y_T-i,k – истинное значение прогнозируемой переменной в момент прогнозирования Т–i+k, f_T-i,k – прогноз интересующего нас показателя на момент Т–i+k, сделанный в момент Т–i.

Тогда скорректированное значение k–шагового прогноза на момент Т+k, сделанного в момент Т, будет равно сумме прогноза f_T,k, и ошибки прогнозирования e_T-1,k, сделанной в момент времени Т–i, при прогнозировании на k шагов вперед:

Метод 4. Корректировка на величину среднего всех известных на момент T ошибок k–шаговых прогнозов. В данном случае прогноз корректируется на величину, равную

где k=1, …, 6 , i=3 для большинства рассматриваемых рядов (см. выше), – истинное значение показателя y в момент времени T–j+k, f_T-j,k – прогнозное значение показателя y, сделанное в момент времени T–j на k шагов вперед. Тогда в этом случае скорректированный прогноз рассчитывается по формуле:

Ряд исследований³ показывает, что знание истинного значения показателя в момент прогнозирования (в наших обозначениях – в момент Т), а следовательно и ошибки одношагового прогноза на этот момент времени, позволяет существенно улучшить качество прогноза на момент Т+1. Исходя из этого, можно предположить, что корректировка прогнозов по модифицированным методам, т.е. в «реальном режиме» даст не столь хорошие результаты по сравнению cо стандартными методами, если бы их можно было использовать.

Влияние на качество прогнозов различных методов корректировки ошибок

Рассмотрим теперь, как влияют предложенные методы корректировки ошибок прогнозирования на качество прогнозов. В качестве базовых или исходных будем использовать прогнозы ИЭП им. Е.Т. Гайдара⁴. Прогнозы, получаемые в результате корректировки при помощи любого из четырех предложенных методов будем называть скорректированными. Качество прогнозов мы будем определять на основе средней абсолютной процентной ошибки прогнозирования (МАРЕ), рассчитанной для всего массива прогнозов, уделяя при этом некоторое внимание и качеству прогнозов для различных горизонтов прогнозирования. Далее, если лучшие МАРЕ для различных типов прогнозов (базового или скорректированных) будут совпадать, то мы будем отдавать предпочтение простейшей модели (базовому прогнозу, а не скорректированному) или более простому методу корректировки. Соответственно, определим методы корректировки прогнозов по возрастанию сложности расчетов: метод 1 (простейший), метод 3, метод 2 и метод 4.

Прогнозы индексов промышленного производства, как правило, обладают хорошими статистическими свойствами, т.к. их МАРЕ на всем рассматриваемом массиве оказались меньше 5%. Исключением являются лишь ИПП НИУ ВШЭ в машиностроении и металлообработке и промышленности строительных материалов, МАРЕ которых превышают 5%, но, тем не менее, оказываются меньше 10%. При этом прогнозные характеристики первого показателя улучшаются при корректировке четвертым методом (МАРЕ снижается до 4,6%). Для показателя ИПП НИУ ВШЭ по промышленности строительных материалов улучшения достигаются при помощи корректировки посредством метода 1. Отметим, что на горизонтах прогнозирования 1 и 2 месяца лучшими являются базовые прогнозы рассматриваемого показателя.

Для показателя ИПП НИУ ВШЭ по промышленности в целом базовые прогнозы, полученные по ARIMA и КО-моделям, превосходят по качеству все скорректированные прогнозы. Но ухудшения после корректировки оказываются не слишком сильными. Лучшим прогнозом ИПП Росстата по промышленности в целом оказывается также базовый. При этом корректировка по методам 2 и 4 практически не ухудшает качество прогноза, в то время как корректировка первым и третьим методами ухудшает прогноз довольно сильно, хотя и в этих случаях МАРЕ не превосходит 5%.

Базовый прогноз также оказывается лучшим для показателей ИПП НИУ ВШЭ химической и нефтехимической промышленности и пищевой промышленности, а также ТЭК. Небольшое улучшение качества прогнозов показателей ИПП НИУ ВШЭ черной металлургии, цветной металлургии и легкой промышленности достигается при корректировке методом 1. Второй метод позволяет улучшить прогноз показателя ИПП НИУ ВШЭ лесной, деревообрабатывающей и целлюлозно-бумажной промышленности. Таким образом, можно говорить о том, что базовые прогнозы половины из рассматриваемых индексов промышленного производства не нуждаются в улучшении.

Прогнозы показателя оборота розничной торговли (как базовые, так и скорректированные) обладают довольно хорошими статистическим характеристиками (МАРЕ не превышают 5%), но наилучшим качеством обладают прогнозы, скорректированные при помощи второго метода. Второй метод корректировки также позволяет улучшить качество прогнозов показателя инвестиций в основной капитал по сравнению с исходным прогнозом.

МАРЕ базовых прогнозов показателей внешней торговли во всех случаях попадают в интервал от 5 до 10%. Показатели экспорта во все страны (ARIMA и SM) и экспорта в страны вне СНГ обладают похожими свойствами с точки зрения корректировки базовых прогнозов. Первый метод корректировки позволяет достигать некоторого улучшения качества исходных прогнозов на всем массиве данных и на горизонтах 2–6 месяцев по сравнению с исходными прогнозами. Но на горизонте в 1 месяц лучшими оказываются базовые прогнозы. Три остальных метода корректировки прогнозов ухудшают их качество по сравнению с базовыми прогнозами.

Показатели импорта из всех стран (ARIMA и SM-прогнозы) и импорта из стран вне СНГ обладают несколько иными свойствами. ARIMA-прогноз показателя импорта из всех улучшается при помощи первого метода корректировки на всем массиве прогнозов и на горизонтах прогнозирования 3–6 месяцев. На горизонтах 1-2 месяца наилучшие результаты позволяет получить второй метод корректировки. SM-прогноз показателя импорта из всех стран корректируется в сторону улучшения при помощи метода 3 на всем массиве данных и на горизонтах 1–2 месяца, а на горизонтах 3–6 месяцев наилучшие результаты достигаются корректировкой первым методом. Базовый прогноз показателя импорта из стран вне СНГ улучшается корректировкой по методу 3 на всем массиве и на горизонтах 1, 2, 5 и 6 месяцев. На горизонтах 3 и 4 месяца лучшие результаты дает метод 1. Отметим, что в отличие от показателей экспорта, все методы корректировки улучшают качество базовых прогнозов показателей импорта на всем массиве данных.

Базовые ARIMA и SM-прогнозы индекса потребительских цен (ИПЦ) не уступают по качеству скорректированным прогнозам на всем массиве данных. При этом все прогнозы, и исходные, и скорректированные, имеют МАРЕ менее 1%, т.е. обладают очень хорошим качеством. Базовые ARIMA и КО-прогнозы индекса цен производителей промышленных товаров (ИЦП) обладают лучшим качеством по сравнению со скорректированными прогнозами. При этом методы корректировки 2 и 4 сопоставимы по качеству с базовыми прогнозами, в то время как методы 1 и 3 довольно сильно их ухудшают.

Для остальных рассматриваемых индексов цен производителей базовые прогнозы оказываются лучше как на всем массиве данных, так и практически для всех горизонтов прогнозирования. Единственное исключение – ИЦП в обработке древесины и производстве изделий из дерева. Для этого показателя существенные улучшения достигаются при помощи четвертого метода корректировки прогнозов.

Скорректированный по методу 1 прогноз показателя стоимости минимального набора продуктов питания оказывается наилучшим. Отметим, что для этого показателя корректировка по методам 1 и 3 улучшает базовый прогноз, а по методам 2 и 4 – ухудшает его.

Базовый прогноз показателя сводного индекса транспортных тарифов практически не отличается по качеству от прогноза, скорректированного по методу, который оказывается чуть лучше (МАРЕ=2,7%, у базового прогноза – 2,8%). Отметим, что первый и третий методы прогнозирования ухудшают прогнозы данного показателя. Базовые прогнозы индексов тарифов на грузовые перевозки автомобильным транспортом и тарифов на трубопроводный транспорт демонстрируют наилучшие статистические свойства (МАРЕ равно 0,8 и 4,8%, соответственно).

Прогнозы показателей цен на природные ресурсы традиционно обладают довольно невысоким качеством. Лишь для базовых прогнозов цен на алюминий и золото МАРЕ не превышает 10%. МАРЕ всех остальных показателей (цены на нефть, медь и никель) существенно превышает 10%-ный порог. В этой связи вопрос о возможности улучшения качества прогнозов при помощи корректировки особенно актуален. Наилучшие результаты при корректировке для всех рассматриваемых рядов, кроме ряда цен на золото (для этого ряда лучшие результаты дает метод 2), достигаются при помощи первого метода. Тем не менее, эти улучшения не настолько существенны, чтобы можно было говорить о серьезном изменении качества прогнозов цен на природные ресурсы.

Ошибки прогнозов денежных показателей попадают в 5%-ный интервал на всем массиве данных. При этом небольшие улучшения достигаются при помощи корректировки первым методов для показателя денежной базы и четвертым методом для показателя М2. Базовый прогноз показателя международных резервов практически не отличается от скорректированного при помощи метода 2.

Исходные прогнозы валютных курсов оказываются довольно неплохими с точки зрения их качества, как на всем массиве прогнозов, так и для отдельных горизонтов прогнозирования. При этом корректировка позволяет довольно хорошо улучшить их качество. Для показателя курса доллара США к рублю хорошие результаты дает четвертый метод корректировки, а для показателя курса евро к доллару США – третий.

Результаты, получаемые для показателей уровня жизни населения, однозначно демонстрируют, что любая корректировка прогнозов ухудшает их качество для всех горизонтов прогнозирования. Таким образом, наилучшими прогнозами реальных располагаемых денежных доходов и реальных денежных доходов оказываются исходные (не скорректированные) прогнозы, как на всем массиве прогнозов, так и для конкретных горизонтов прогнозирования. Исходные прогнозы реальной начисленной заработной платы показывают лучшие свойства для горизонтов 1, 2 и 6 месяцев. Корректировка по первому методу позволяет улучшить качество прогнозов на горизонтах 3–5 месяцев. На всем массиве данных базовые прогнозы и скорректированные по методу 1 дают одинаковые статистики качества и оказываются лучшими по сравнению с прогнозами, скорректированными другими методами. Отметим, что прогнозы показателей уровня жизни населения (как базовые, так и скорректированные различными методами) обладают хорошими статистическими свойствами: как на всем массиве данных, так и для отдельных горизонтов прогнозирования МАРЕ всех показателей не превышает 5%.

Также как и в случае показателей уровня жизни населения наилучшими прогнозами показателя численности занятого в экономике населения оказываются базовые (не скорректированные) прогнозы. Исключением здесь является прогноз на 4 месяца вперед, для которого корректировка по первому методу позволяет улучшить исходный результат.

Базовые прогнозы показателя общей численности безработных, полученные как по модели Бокса–Дженкинса, так по КО-модели, обладают не очень высокой точностью с точки зрения МАРЕ, которая в обоих случаях превышает 10% на всем массиве данных. В случае ARIMA-модели корректировка по методам 1 и 3 помогает улучшить качество получаемых моделей: МАРЕ таких прогнозов не превышает 10%. В случае КО-модели довольно хорошее улучшение достигается при помощи корректировки первым методом.

***

На Рис. 1 представлены результаты ранжирования базовых прогнозов (прогноз) и четырех рассматриваемых в работе методов корректировки для всего массива рассматриваемых рядов, состоящего из 56 типов базовых прогнозов, на всем массиве прогнозов. На оси абсцисс обозначены ранги каждого типа прогноза или его корректировки. Соответственно, 1 – это лучший прогноз/корректировка, 5 – худший. На оси ординат – количество случаев (из 56), в которых тот или иной прогноз оказывается лучшим, вторым по качеству и т.д.

Рис. 1. Распределение по рангам (ось абсцисс) базовых прогнозов и их корректировок различными методами (1 – лучший прогноз, 5 – худший)

Как следует из Рис. 1, наиболее часто (26 из 56 случаев) лучшими по качеству оказываются базовые прогнозы рассматриваемых показателей. Следующими по частоте лучшими прогнозами оказываются прогнозы, скорректированные при помощи первого метода: 16 случаев из 56. Таким образом, в трех четвертях случаев лучшими оказываются либо прогнозы, построенные по предложенной методике, либо их простейшая корректировка на последнюю известную ошибку одношагового прогноза.

Второй метод корректировки – на среднее значение всех известных на момент прогнозирования ошибок одношаговых прогнозов – чаще всего оказывается вторым по качеству (в 23 случаях из 56). Третий и четвертый методы корректировки, в которых для коррекции k–шаговых прогнозов (k=1, …, 6) используются последняя известная ошибка k–шагового прогноза или среднее значение всех известных на момент прогнозирования ошибок k–шаговых прогнозов, дают лучшие прогнозы лишь в 2 и 4 случаях, соответственно. При этом худшими (ранг=5) они оказываются в 33 случаях их 56 (18 и 15, соответственно).

Таким образом, можно говорить о том, что используемая в ИЭП им. Е.Т. Гайдара методика краткосрочного прогнозирования дает хорошие по статистическим свойствам прогнозы, а какие-либо улучшения качества прогнозов чаще всего достигаются при помощи самого простого метода корректировки – первого, т.е. метода корректировки на величину последней известной одношаговой ошибки прогнозирования.

Список литературы

Clements M. P., and D.F. Hendry, 1998a, Forecasting Economic Processes, International Journal of Forecasting, vol. 14, №1, pp. 111-131.

Clements M. P., and D.F. Hendry, 1998b, Forecasting Economic Time Series, Cambridge: Cambridge University Press (The Marshall Lectures on Economic Forecasting).

Keane, M.P., Runkle, D.E., 1989, Are Economic Forecast Rational?, Federal Reserve Bank of Minneapolis, Quarterly Review #1323, Spring

Турунцева М., Астафьева Е. и др. Бюллетень модельных расчетов краткосрочных прогнозов социально-экономических показателей РФ. М.: ИЭПП, ежемесячный бюллетень, 2006 (февраль) – 2007 (июль), интернет-источник:

Энтов Р., Носко В., Юдин А., Кадочников П., Пономаренко С. Проблемы прогнозирования некоторых макроэкономических показателей. Серия «Научные труды» №46. М.: ИЭПП, 2002.

ПРИЛОЖЕНИЕ 1

Список прогнозируемых показателей

Примечание: ARIMA-прогнозы, построенные на основе ARIMA-моделей; КО-прогнозы, построенные с использованием результатов конъюнктурных опросов; SM-прогнозы, построенные с использованием структурных эконометрических уравнений.

¹ Список рассматриваемых рядов см. в Приложении 1.

² Исключение здесь составляют ряды Индексов промышленного производства НИУ ВШЭ, для которых i=2, показателей курсов рубля и евро (i=1) и показателей мировых цен на некоторые природные ресурсы (i=4).

³ См., например, Keane, Runkle, 1989.

⁴ В настоящей работе мы используем прогнозы 50 показателей на период с августа 2006 г. по январь 2008 г., опубликованные в «Бюллетене модельных расчетов краткосрочных прогнозов социально-экономических показателей РФ» в феврале 2006 г. – июле 2007 г. Таким образом, для каждого прогнозируемого показателя в нашем распоряжении имеется 108 прогнозных значений: 18 прогнозируемых месяцев (август 2006 г. – январь 2008 г.) по 6 значений прогнозов для каждого месяца. В качестве базовых моделей для построения прогнозов в данном случае используются модели Бокса–Дженкинса (ARIMA-прогнозы), структурные модели (SM-прогнозы) и модели, при построении которых использовались данные конъюнктурных опросов ИЭП им. Е.Т. Гайдара (КО-прогнозы).

Версия для печати