Библиотека управления

Оценить нельзя верить

Кадушин Александр (alkad@rin.ru), Михайлова Надежда ООО "ИФ-КОНСАЛТ", http://ifconsult.boxmail.biz
Впервые опубликовано: "IT-форум", 2003, №5 (6), с. 30-37

Возможна ли оценка экономической эффективности инвестиций в информационные технологии?

В разных отраслях экономики роль и место информационных технологий (ИТ) существенно различаются. По степени непосредственного влияния на основную деятельность потенциальных потребителей информационные технологии условно можно разделить на два типа:

А. Организации, для которых информационные технологии являются технологией основного производства. (телекоммуникационные компании, виды бизнеса, связанные с информационным обслуживанием и движением информации, др.). Для таких организаций ИТ-система, согласно экономической классификации, является активной частью основных производственных фондов, т.е. непосредственным фактором производственной/операционной деятельности.

Такие организации практически не надо убеждать в необходимости оценки эффективности инвестиций в ИТ. Для них этот вопрос практически сливается с вопросом о необходимости инвестиций в тот бизнес, который они ведут и который невозможен без ИТ.

Б. Организации, для которых информационные технологии являются средством совершенствования/развития управленческой деятельности. В этом случае информационные технологии способствуют более качественному управлению организацией, удешевляют и повышают эффективность принимаемых управленческих решений и таким опосредованным образом содействуют повышению конкурентоспособности. Для таких организаций ИТ является фактором, способствующим основной деятельности, но не участвующим в ней непосредственно.

Пока для таких предприятий и организаций инвестиции в ИТ-системы формально не рассматриваются в качестве вложений в технологические активы. Но даже для них практически очевидным является объективная необходимость вовлечения ИТ в процесс повышения качества управления, а следовательно, осуществления инвестиционных затрат на развитие информационных технологий.

Другое очевидное утверждение, практически не подвергаемое сомнениям, заключается в том, что на современном этапе информационные технологии - вещь затратная. В целом, инвестиции в ИТ-систему складываются из капитальных затрат на формирование и развитие ИТ-системы, а также долгосрочных вложений в оборотный капитал, необходимый для эксплуатации этой системы. При этом общий объем затрат может доходить до десятков миллионов долларов.

На основании каких же критериев и процедур формируются ИТ-бюджеты компании или просто финансируются ИТ-департаменты?

Еще в недалеком прошлом, на заре "дикого капитализма" в России даже самые крупные ИТ-вложения осуществлялись методом "качественного убеждения" собственника/топ-менеджмента компании в необходимости осуществления тех или иных ИТ-проектов. По мере роста цивилизованности российских рыночных отношений, а также профессионализма российского менеджмента стали вырабатываться некоторые критерии оценки целесообразности ИТ-затрат.

Наиболее популярным стал критерий ДОСТАТОЧНОСТИ размера затрат на ИТ. На основании западных аналогий получают распространение

  • показатель ИТ-затрат как доли от оборота компании (0,9-3,4% в зависимости от размера и динамичности компании), и

  • показатель доли ИТ-затрат на одного работающего (от $1600-$3900 на чел.).

Аналогичные показатели для российских компаний несколько ниже (0,6-1,5% и $200-$1000 соответственно) и существенно дифференцируются по отраслям. Адепты новых информационных технологий тратят более 2% от оборота.

Таким образом, сравнение собственных ИТ-затрат с средними по отрасли с учетом амбиций и жесткости конкуренции может помочь в обосновании ИТ-бюджета. Однако, следует иметь ввиду, что даже в этом случае ИТ остается затратной областью и средства на нее выпрашиваются. И если в компании остро стоит вопрос о необходимости снижения издержек, ИТ могут пострадать в первую очередь.

ИТ-проект как инвестиционный проект

Альтернативным такому подходу, на наш взгляд, является рассмотрение ИТ-затрат в качестве ИТ-инвестиций, а ИТ-проект в качестве инвестиционного проекта. Любые затраты в коммерческой организации должны быть экономически оправданы. Аналогично тому, как текущие затраты в общем случае должны покрываться текущими доходами (в противном случае эти расходы могут считаться экономически нецелесообразными), затраты капитального характера должны покрываться будущими доходами, а точнее будущей прибылью от коммерческого применения благ капитального характера.

Следовательно, с экономической точки зрения рассмотрение ИТ-проекта в качестве инвестиционного означает необходимость экономического обоснования требуемых затрат и оценки эффективности предполагаемых инвестиций. Ведь развитие ИТ-технологий в коммерческой организации должно быть направлено на улучшение бизнеса, т.е. извлечение коммерческой выгоды. Если удается оценить эффективность инвестиций в ИТ в соответствии с общепризнанными критериями и показателями (ROI, NPV, IRR, BP), ИТ-департамент перестает быть просто "просителем" средств, а превращается в инициатора эффективного инвестиционного проекта, конкурирующего на равных с иными инвестиционными предложениями по развитию бизнеса.

Тем не менее, несмотря на всю очевидность данного утверждения, оно вовсе не является общепризнанным. При этом оспаривается не столько необходимость соотнесения требуемых затрат с ожидаемым результатом, сколько возможность количественных оценок получаемых эффектов.

Главная "загвоздка" здесь заключается в том, что информационные технологии - это 'посредники'. Действительно информационные технологии не непосредственно, а опосредовано, через бизнес-технологии, воздействуют на конечные финансово-экономические результаты деятельности компании. Это хорошо осознают современные ИТ-менеджеры. Юрий Ипатов, руководитель Управления информационных технологий Магнитогорского металлургического комбината в интервью "IT-форуму" (2003 г., январь) авторитетно заявляет: "Задача информационных технологий - поддержка и ускорение реализации бизнес-процессов предприятия". Значит, информационные технологии сами по себе не улучшают положение организации на рынке, не сокращают материалоемкость конечной продукции и т.д., а вооружают управленческий персонал новым оружием - технологиями, а эффективность их использования напрямую зависит от того, насколько хорошо налажен мост от возможностей ИТ-технологий к бизнес-возможностям конкретной организации. Опосредованный характер влияния ИТ-технологий на успех компании проиллюстрирован на рис. Рис. 1.

Данное обстоятельство создает некоторую, и весьма ощутимую, сложность в определении эффектов от внедрения ИТ. И оно же часто склоняет многих экспертов изменить ракурс оценки о целесообразности ИТ-инвестиций.

Так, например, Денис Ганстер (Dennis Ganster), председатель совета директоров и Президент Comshare Inc. полагает, что для осознания эффективности инвестиций в ИТ необходимо рассматривать шесть "бонусов" повышения эффективности организации:

  1. Повышение "интеллектуальности" бизнеса (оперативное наличие больших объемов релевантной информации позволяет управленцу принять перспективное, упреждающее решение).
  2. Оптимизация планирования (своевременный доступ всех заинтересованных пользователей к важной информации, находящейся в одной централизованной БД).
  3. Усовершенствование процессов принятия решений (решения становятся более обоснованными, если они подкреплены достоверной и оперативной информацией. Кроме того, экономится время, уходившее ранее на анализ второстепенных деталей, а специалисты, принимающие решения, теперь не тонут в море ненужных фактов).
  4. Повышение рыночной привлекательности компании (т.н. "бонус Wall Street") - рынок благосклонен к тем компаниям, которые демонстрируют внимание к деталям своей деятельности, и, более того, их полноценный анализ.
  5. Расширение информационной компетентности - чем большее количество сотрудников имеет доступ к корпоративным данным, тем "умнее" и мобильнее становится организация в целом.
  6. Создание единой среды сотрудничества (организация приобретает мощный заряд развития, ведь каждый из ее членов работает на достижение прозрачных, понятных и, главное, общих целей).

Все это качественные эффекты от вложений в ИТ. Данные "бонусы", хотя и отражают бизнес-выгоды компании, не позволяют сравнить с другими вариантами инвестирования.

Задача обоснования ИТ-инвестиций становится тем острее, чем сильнее дифференцируются функции выделения и распоряжения средств на ИТ-бюджет. Разрабатывает и представляет ИТ-бюджет CIO, CFO согласовывает его с остальными параметрами бюджета компании, а утверждает бюджет собственник бизнеса (а он может быть весьма далек от понимания области ИТ). Вот почему обоснование ИТ-затрат как инвестиционных затрат, целесообразных и выгодных для конкретной компании, становится все более и более актуальным.

Классические методы оценки эффективности инвестиционных проектов предполагают необходимость оценки "доходной" и "затратной" части проектов с последующей их интеграцией при расчете обобщенного "денежного потока" проекта. Оценка "затратной" части не представляет существенной сложности. Вся "загвоздка" - в оценке результатов, эффектов от реализации ИТ-проекта, т.е. оценки "доходной" части.

Структуризация бизнес-целей "сверху вниз" и агрегация эффектов "снизу вверх"

Для полноценной, качественной оценки результата, следует сделать упор на то, ради чего осуществляется внедрение ИТ-проекта. "Ценность информационных активов компании определяется не возможностью хранить и извлекать данные, а способностью динамически устанавливать соответствие информации специфическим процессам и беспрецедентным ситуациям. Корпорации оценивают свои информационные активы по их способности переводить информацию на новый уровень, позволяющий компаниям реагировать на требования рынка более эффективно", - отмечает Карл Фраппаоло (Delphi Consulting Group, Inc.). Поэтому оценивать эффективность внедрения ИТ-системы без оценки эффективности изменения работы компании невозможно. Значит, детальная количественная оценка эффектов возможна при точном целеполагании внедрения ИТ.

Однако, на практике данное утверждение упирается в следующую проблему. На уровне высшего менеджмента организации тот или иной ИТ-проект осуществляется ради проведения определенной стратегической линии - элемента бизнес-стратегии. Например, для некоторой компании одной из основных стратегических линий является снижение затрат. Без добротного производственного (управленческого) учета и системы бюджетирования эту задачу не решить. Значит, компания будет заинтересована в развитии комплексной интегрированной системы производственного учета. Предполагается, что быстрая систематизация данных о планируемых и фактических затратах позволит более эффективно регулировать процесс затратообразования, что в конечном счете позволит снизить затраты на 4-7%. Вот цель высокого уровня.

На более низких уровнях управления - функциональных департаментов и служб - внедрение ИТ производится не из стремления получить неопределенно-глобальный результат, а из локальных задач, связанных с заменой тех или иных участков учета или управления. Например, в одном случае такие изменения должны произойти в оформлении заявок, во втором - в системе анализа результатов деятельности, в третьем - в системе обработки бухгалтерских данных. Естественно, что на этих уровнях и проектировщики и лица, применяющие ИТ, "забывают" или абстрагируются от высокой глобальной цели. Для них ИТ, рационализируя управленческие бизнес-процессы, позволяют получать такие качественные улучшения, как сокращение дублирующих функций, повышение оперативности, увеличение оперативности расчетов, увеличение возможностей по оптимизации решений за счет многовариантных расчетов и др. Значит, для них цели должны быть сформулированы иным образом, более близким к решаемым ими задачам. А чтобы эти задачи не противоречили общей глобальной цели, целеполагание должно быть выполнено сверху донизу и органичным образом интегрировано в процесс проектирования ИТ-системы. Это фактически означает необходимость структуризации конечных финансово-экономических целевых показателей до уровня ИТ-процедур.

Практическое применение данного подхода должно заключаться в построении многоуровневой детальной структуры 'бизнес-стратегия - цели - задачи - подзадачи - функции/бизнес-процессы - ИТ-процедуры', которая свяжет несовместимые, на первый взгляд, характеристики и даст набор оценок эффектов совершенствуемой системы управления. Максимальная структуризация такого дерева позволяет тесно увязать глобальную бизнес-стратегию отрасли/предприятия, конкретные бизнес-задачи и качественные улучшения (факторы ИТ-эффективности), получаемые за счет внедрения в практику управления информационных технологий, и выразить их в форме количественных финансово-экономических выгод компании.

Предполагается, что структуризация целей и задач "сверху вниз" сначала позволяет выявить качественные выгоды, а затем и количественные факторы экономической эффективности, т.е. те направления изменения экономических показателей, которые при достижении соответствующей цели или решении задачи изменяются в благоприятном направлении. Подобная оценка количественных экономических критериев должна проводиться с привлечением экспертов и использованием соответствующих экспертных методик. И вот на этом этапе повышается роль ТИПИЗАЦИИ.

ИТ-задачи низкого уровня и ИТ-процедуры гораздо более стандартизируемы, чем цели конкретной компании. На похожести бизнес-процессов похожих компаний основан метод 'прототипирования', успешно используемый при внедрении сложных распределенных информационных систем. Суть его заключается в изготовлении 'единого эталона' и его дальнейшей 'тонкой настройке' для нужд конкретного потребителя. Четкое представление бизнес-процессов, их формализация и типизация позволили обеспечить быструю настройку системы при минимизации необходимого программирования. Представляется, что типовые бизнес-процессы и обеспечивающие их исполнение типовые ИТ-процедуры направлены на достижение, по крайней мере на качественном уровне, типовых эффектов. Поэтому качественное описание экономических выгод на нижних уровнях ИТ-системы могло бы быть получено из некоторой "библиотеки эффектов", формируемой по аналогии с 'прототипированием' бизнес-процессов и ИТ-процедур. А их количественная оценка должна определяться компетентными экспертами, хорошо знакомыми с особенностями конкретной организации.

К сожалению, подобная процедура "структуризации" не всегда встроена в процесс проектирования ИТ-системы. В этом случае центр тяжести процедуры по качественной и количественной характеристике факторов экономической эффективности ложится на следующий этап - "этап агрегации". Этап агрегации начинается с самого нижнего уровня детализации - ИТ-процедур или ИТ-задач низшего уровня. На этом уровне необходимо максимально подробно выявить качественные улучшения выполняемых бизнес-процессов, привносимые внедряемыми информационными технологиями. Желательно на самом низком уровне попытаться дать таким факторам количественную характеристику. Постепенная агрегация таких улучшений, обобщаемых на более высоком уровне построенного дерева, позволяет добиться количественного выражения в финансово-экономических показателях локального значения. Такой показатель является фактором экономической эффективности внедряемых информационных технологий. При аккуратном обобщении всех таким образом выявленных факторов эффективности в суммарный экономический эффект можно получить интегрированную количественную характеристику отдачи от инвестиций в ИТ-проект.

Итак, процесс оценки эффектов от внедрения ИТ -проектов, на наш взгляд, должен представлять из себя согласованное единство двух процессов: структуризации целей "сверху вниз" и агрегации отдельных экономических выгод "снизу вверх", а затем соответствующей верификации полученных оценок. Пример подобной структуризации "сверху вниз", а затем агрегации "снизу вверх" приведен на Рис. 2.

Однако, способ получения таких оценок достаточно трудоемок, а также требует хорошего методического обеспечения. По аналогии с разработкой инвестиционных проектов, которая обычно обходится в 0,5-1,5% от стоимости самого проекта, оценка экономической эффективности ИТ-проекта может составлять от 1 до 2% стоимости собственно ИТ-проекта. Но этот путь достаточно реалистичен, что доказывает практический опыт авторов данной статьи, примененный при оценке ИТ-затрат в столь крупных компаниях как ОАО "Газпром" и МПС. Кроме того, получаемые таким образом результаты хорошо "вписываются" в традиционные методики оценки эффективности инвестиционных проектов, обеспечивая построение "доходной" части инвестиционного ИТ-проекта, а значит, добиваясь сравнимости результатов разнохарактерных инвестиционных предложений.

Предложенная процедура является достаточно сложной. Для ее реализации необходимо привлечение квалифицированных экспертов. Элемент субъективизма экспертной оценки может быть существенно снижен в случае, если в компании внедрена система моделей:

  • Ключевых показателей эффективности (KPI) и сбалансированных показателей результативности (BSC);

  • Функционально-стоимостного анализа (ABC);

  • Совокупной стоимости владения (TCO).

Однако, в России мало найдется компаний, способных похвастаться интегрированной системой оценки своей деятельности, основанной на применении данных моделей.

Следует откровенно признать, что не только в России, но и в развитых промышленных странах, имеющих существенно больший опыт в использовании ИТ, очевидные методы оценки финансового результата неизвестны. Поэтому результаты, полученные с помощью предложенной методологии, безусловно, хотя и не будут абсолютно точны, тем не менее, они будут отражать и качество проекта, и специфику конкретного предприятия.

В заключении коснемся некоторых важных организационно-методических аспектов получения интегральной оценки экономической эффективности инвестиционного ИТ-проекта.

Как обеспечить сведение разнородных по смыслу факторов экономической эффективности в единый интегральный показатель?

Необходимо понимать, что с точки зрения функционирования бизнеса, на самом высоком уровне количество потенциальных экономических выгод ограничено и может быть описано законченной непротиворечивой системой. Например, можно выделить такой состав обобщенных, значимых направлений, называемыми ключевыми факторами экономической эффективности.

  1. Минимизация упущенного дохода или формирование новых источников дохода;

  2. Снижение текущих производственных (эксплуатационных) затрат;

  3. Снижение административно-управленческих затрат;

  4. Минимизация налоговых и других обязательных выплат;

  5. Снижение потребности в капитальных затратах;

  6. Увеличение оборачиваемости текущих активов.

В случае аккуратной агрегации отдельных ИТ-эффектов в обозначенные ключевые факторы эффективности дальнейшее построение "денежного потока" является делом техники инвестиционных аналитиков, на основе которого для заказчика (инвестора) можно выполнить расчет любого устраивающего его показателя оценки эффективности (ROI, NPV, IRR, PP, др.).

Оценка чувствительности или оценка вероятности?

Точность оценки количественных значений факторов экономической эффективности весьма различается, поскольку основывается в значительной мере на экспертных методиках. В связи с этим для оцениваемых факторов необходимо либо вводить дополнительную оценку вероятности реализации оцениваемого фактора (что, на наш взгляд, мультипликативно усиливает погрешность получаемых экспертных оценок), либо определять диапазон допустимых значений, а затем проверять "чувствительность" интегрального показателя на "колебания" его отдельных составляющих. Последний из методов позволяет не подвергать процесс оценки дополнительным субъективным влияниям, если предложенный диапазон разброса не сильно влияет на конечный результат, а сконцентрироваться на уточнениях (сужении первоначального диапазона) только в том случае, если первоначально принятый разброс значений фактора принципиально меняет значение интегрального показателя эффективности.

Как упростить работу по выявлению экономических выгод?

Разработка различных вариантов ИТ-систем, выбор программной платформы, установление этапности разработки и ввода системы - все это так или иначе ограниченно заданной функциональностью, которая и является основой для первичной идентификации экономических эффектов. Наличие некоторой "библиотеки типовых эффектов" для типовых функциональных ИТ-подсистем может быть удобной и дешевой отправной точкой для оценки того, ради чего осуществляется внедрение, чего можно ожидать. На наш взгляд, такая "библиотека" могла бы сыграть важную методическую помощь для широкого распространения методов оценки экономической эффективности ИТ-проектов.

Когда следует оценивать эффективность ИТ?

Рассмотрение ИТ-проекта в качестве инвестиционного проекта, а затрат на внедрение информационных технологий - в качестве инвестиций, предполагает плановое управление ресурсами проекта на протяжении всего периода их использования с целью оптимизации экономических выгод, достигаемых за счет данных инвестиций.

Для этого недостаточно на предпроектной стадии обосновать целесообразность этих затрат, подкрепив расчетами теоретическую возможность их окупаемости. Необходимо выстроить процесс управления проектом таким образом, чтобы осуществляемые инвестиционные вложения на протяжении всего жизненного цикла проекта 'работали' в направлении максимизации выгоды.

Это означает, что экономические оценки по проекту должны осуществляться не однократно, а в те моменты, когда возникающая ситуация (внешние обстоятельства) или предлагаемое решение (внутренняя корректировка проекта) способны существенным образом повлиять на эффективность осуществляемых инвестиций. Такие моменты определяются руководством ИТ-проекта и в обобщенном виде представляют собой ситуации, когда:

  • корректируются сроки реализации проекта;

  • в проекте меняются существенные технические решения;

  • меняется внешняя среда (экономическое окружение) реализации проекта;

  • происходят значительные изменения в структуре и характеристиках работы внутри организации.

Таким образом, процесс соизмерения инвестиций и достигаемых за их счет экономических выгод должен быть именно процессом, т.е. должен быть итерационной процедурой на протяжении всего периода разработки и внедрения проекта, результат которой способен повлиять на дальнейшее продолжение или условия осуществления проекта.

Итак, любые рассуждения на тему о целесообразности внедрения ИТ, об оптимальности выбора той или иной ИТ-системы или об эффективности инвестиций в ИТ-проект должны обязательно предваряться четким определением целей и желаемых результатов такого внедрения. Следовательно, и вопрос об эффективности инвестиций в информационные технологии открывает обсуждение ИТ-проекта и завершает анализ внедрения системы, являясь таким образом необходимым условием принятия обоснованного решения как о необходимости использования конкретных информационных технологий, так и о соответствии понесенных затрат получаемым результатам.

   

Примеры возможных (оценочных) параметров


СТОИМОСТЬ КОМПАНИИ
 

Рост стоимости компании за 3 года на 50%

   


УСПЕХ КОМПАНИИ
 

Охват 20%-й доли внутреннего рынка продукции :

   


КОНКУРЕНТОСПОСОБНОСТЬ КОМПАНИИ
 
  • Адаптируемость к мелким сегментам рынка;
  • Короткий срок выполнения заказа

   


БИЗНЕС-СТРАТЕГИЯ
 

Увеличение доли рынка за счет привлечения клиентов из мелких сегментов

   


ИТ-СИСТЕМА
 

Быстрое информационное обслуживание клиентов

   


ИТ- ИНФРАСТРУКТУРА
 
  • Гибкость;
  • Надежность;
  • Производительность

Рис. 1

 

 

 

 

 

Уровни

'ДЕРЕВА'

 

Формирование 'ДЕРЕВА' -

содержательная информатизация бизнес-процессов

 

Преобразование качественных факторов эффективности в количественные показатели 'выгоды'

             

Бизнес- стратегия

 

Интенсификация использования ресурсов

 

Сокращение потребности в оборотных средствах

       

Цель

 

Сокращение размера дебиторской задолженности

 

Высвобождение оборотных средств в размере 430 млн.руб.1

             

Задача

 

Контроль за сроками и условиями исполнением контракта

 

Сокращение среднегодовой величины дебиторски с 2,15 до 1,72 млрд.руб.1

           

Функция

 

Автоматизированное ведение реестра дебиторов и условий контрактов

 

Механизм регуляр-ных уведомлений о наступлении срока платежа

 

Сокращение срока сбора дебиторской задолженности на 10 дней (с 50 до 40 дней)1

             

Бизнес-процесс I

 

Автоматизированное ведение списка 'критичных' дебиторов (нарушителей условий контрактов)

 

Уменьшение нарушений условий оплаты у 35% покупателей1

             

Бизнес-процесс I.1

 

Информирование отдела сбыта о 'попадании' дебитора в список 'критичных' и нарушениях контракта

 

Информирование 'критичных' дебиторов о нарушении условий контракта

 

Повышение дисциплины оплаты поставок

             

Бизнес-решение

 

Прекращение поставок 'критичным' дебиторам; отказ в возобновлении кон-трактов хроническим неплательщикам

 

Информирование грубых 'нарушителей' о возбуждении претензийно-исковой процедуры

 

Увеличение оперативности реагирования компании на нарушение условий контрактов со стороны покупателей

Рис. 2


Сноски

* Экспертная оценка специалистов, ведущих практическую работу с дебиторами;

** Практический расчет на основе данных по нарушениям сроков оплаты контрактов со стороны предприятий-дебиторов, способных оплачивать заказы в срок;

*** Практический расчет на основе данных по суммам контрактов дебиторов-нарушителей


Литература
  1. Колесников С. Об оценке эффективности внедрения и применения систем управления ресурсами предприятия/ "ComputeReview", 08.09.1999.
  2. Strassmann Paul A. Will Big Spendings on Computers Guarantee Profitability?/ Datamation, 1997.
  3. Strassmann Paul A. Why ROI ratios are now crucial to IT investment? / Butler Group Preview, 2002, September.
  4. Weil, Peter and Broadbent, Marianne. Leveraging the new infrastructure: How market leaders capitalize on information technology. - Harvard Business School, 1998.
  5. Виленский П., Лившиц В., Смоляк С. Оценка эффективности инвестиционных проектов. Теория и практика, - М: "Дело", 2001.
  6. Методические рекомендации по оценке инвестиционных проектов (редакция вторая), утвержденные Министерством экономики РФ, Министерством финансов РФ, Государственным комитетом РФ по строительной, архитектурной и жилищной политике ? ВК 477 от 21.06.1999г.
  7. Карл Фраппаоло (Delphi Consulting Group, Inc.). Четыре базовые функции./ Computerworld, 1998, #10.
  8. Кадушин А., Михайлова Н. Эффект оКИСления. / Изд-во "Открытые системы", журнал "Директору информационной службы", 2001, ?7.
  9. Висков Д. Доклад на пленарном заседании школы-семинара по ЕКАСУФР. - Тезисы докладов, 2000, декабрь.
  10. Скрипкин К.Г. Экономическая эффективность информационных систем. - М.: "ДМКпресс", 2002.
  11. Экономическая эффективность внедрения ИТ-системы / http://www.m2system.ru/t_analit.shtml
  12. Гилберт, Ксавьер. Фрагменты из книги "Мастерство: Менеджмент"
    Пер. с англ. М., 1999 (Серия 'Мастерство')/ www.cfin.ru.
  13. Рейтинг и iTop-50: Директора по информационным технологиям - 50 профессионалов в области ИТ и бизнеса./ "КоммерсантЪ", 5.12.2002.
  14. ИТ на российских предприятиях: практика и перспективы. Результаты опроса ИТ-директоров российских предприятий./ www.ione.ru/scripts/press.asp.
  15. Информационные технологии - путь к эффективности компании. / Interface Ltd. Раздел "Системы автоматизации (ERP/MRPII, SCM, CSRM)",2001.