Инструменты совершенствования аналитических исследований

Шатров Денис Генеральный директор ООО "Аналитические бизнес решения"

Любой компании необходима хорошая маркетинговая разведка, прежде всего информация о конкурентной среде и конкурентах. М. Портер, проф. Гарвардского университета, основоположник направления "Конкурентная разведка"

Если автоматизация работы бухгалтерии, логистики, службы персонала достаточно давно производится с помощью различных ERP-систем, то работу этих двух служб такая автоматизация затрагивает лишь косвенно.

В составе многих ERP-систем поставляются модули CRM-систем (Customer Relationship Management - управление отношениями с клиентами). Немало таких модулей поставляется и в виде отдельных продуктов, но они предназначены прежде всего для ведения истории взаимодействия компании с клиентами и не имеют средств ведения досье на клиента на основе всех доступных источников. Однако для мониторинга и анализа ситуации в сферах интересов компании необходимо использование всех доступных источников. Для решения этой задачи нужны другие методики и другие программные средства. Для автоматизации процесса аналитического исследования также необходимы специальные программные средства, не входящие в состав CRM-систем.

Рассмотрим некоторые аспекты работы аналитиков, касающейся сбора информации из различных источников и проведения аналитических исследований.

Как сейчас осуществляются сбор и хранение информации?

Основную роль в процессе мониторинга ситуации играют внешние источники - материалы СМИ, сайты компаний, форумы, материалы выставок и конференций, новостные ленты бирж, базы данных государственных органов (регистрационной палаты, таможни, ГИБДД). Из внутренних источников можно упомянуть внутренние аналитические отчеты, сведения от "инсайдеров", материалы экономической разведки.

Хотя часть информации уже представлена в табличном виде, большинство источников все же являются текстовыми документами. Сбор статей из СМИ осуществляется либо с помощью Интернет-роботов, либо путем официальной покупки текстов статей у поставщиков контента.

Что касается организации хранения информации, эта работа зачастую вообще не систематизирована. В компании хранятся документы, новостные и аналитические статьи разных лет, но доступ к таким архивам никак не организован. Нередко они существуют в виде файлов на жестком диске компьютера, и даже простейший полнотекстовый поиск в их отношении невозможен. Также обстоит дело и с табличными данными, которые поступают в организацию в виде баз данных различных форматов.

Для хранения текстовых и мультимедийных документов самые продвинутые компании организуют у себя электронные библиотеки. Там уже возможен поиск, и в некоторых случаях проводится тематическая рубрикация документов. Но, так или иначе, в процессе работы аналитик имеет доступ к тексту документов, а не к основным смысловым фрагментам, содержащимся в них. Этого недостаточно для работы аналитика. Для проведения аналитического исследования необходима еще и организация архива знаний.

Как сейчас проводится аналитическое исследование?

Проведение аналитического исследования состоит из нескольких этапов: поиск информации, формирование модели изучаемой ситуации, ее исследование и оформление результатов в виде аналитической записки (отчета).

Рассмотрим, как происходит работа с текстовыми источниками, уже сохраненными в электронной библиотеке. Аналитик находит по ключевым словам и рубрике соответствующий документ или несколько документов. Он заново перечитывает найденный материал, воссоздает в памяти картину описываемой ситуации: какие компании входят в холдинг, кто составляет менеджмент компании, какие проекты она выполняла и пр. Если источники поставляются в табличном виде, аналитик ищет нужные сведения в соответствующих базах данных.

После этого, получив необходимую информацию, он сводит ее в некий единый документ - "черновик", объединяющий отдельные смысловые фрагменты из текстовых документов и баз данных. Под смысловыми фрагментами понимаются тезисы, цитаты, адреса компаний, данные по объемам производства и продаж и т. д. Формируемая модель ситуации, аналитические выводы и другая информация зачастую записываются в текстовой форме в этом же документе, а иногда иллюстрируются графическими схемами. И уже этот "черновик" аналитик использует при написании отчета.

Очевидно, что при таком подходе узким местом является выделение аналитиком смысловых фрагментов в текстах документов. Использование "черновика" - также недостаточно удобное средство организации работы.

Как автоматизировать работу?

Во-первых, требуется создать единое информационное хранилище, где можно было бы хранить сами текстовые документы, таблицы фактографических данных, досье на объекты интереса (компании, персоны, гос. организации) и смысловые фрагменты - знания (факты взаимосвязей между объектами, события), выделенные из текстовых документов.

Во-вторых, нужны программные средства выделения из документов этих смысловых фрагментов. Очевидно, что пока невозможно полностью автоматически, без участия человека, извлекать знания из текстов статей. Этот процесс может быть в значительной мере автоматизирован, причем участие в нем аналитика может быть исключено. Эту низкоквалифицированную работу можно возложить на пользователей-операторов. Квалифицированный аналитик обходится компании на порядок дороже. Разумеется, это возможно, только если в компании организовано ежедневное получение новостного контента по объектам и событиям, относящимся к сфере ее интересов.

В-третьих, должен быть в наличии набор средств "сквозного" поиска по архиву и визуализации всей совокупной информации.

В-четвертых, необходимо средство построения семантических отчетов - графических схем, где в виде узлов и дуг показываются связи между объектами, документами, табличными фактами и смысловыми фрагментами. Такое средство призвано заменить документ-"черновик", о котором упоминалось выше.

Рассмотрим идею семантических отчетов более подробно.

Подобные схемы так или иначе присутствуют в голове аналитика. И этот механизм чрезвычайно гибок из-за особого устройства человеческой памяти. Аналитик может не принимать во внимание и временно "исключить" из схемы часть неважных, недостоверных или незаконно добытых фактов. Но вместе с тем мозг человека обладает тремя ключевыми недостатками: не может оперировать большими схемами, с течением времени забывает отдельные фрагменты схем и подвержен эмоциональному влиянию при их анализе (подсознательный учет мнения руководства, мнения большинства, моральная оценка). Такие схемы невозможно быстро свести в единую "мегасхему", для того чтобы с ними могли работать другие аналитики.

Понимая это, аналитики используют различные графические пакеты для построения схем. Обычно применяются такие программные продукты, как MS Visio, CorelDRAW или Autocad. Однако эти инструменты не предназначены для подобной работы. С их помощью можно нарисовать сеть графических примитивов, связанных линиями различных типов. Задача же аналитика - рисовать сеть знаний. И для этого нужен качественно другой программный инструмент. Рассмотрим требования к нему более подробно.

В сети знаний, или семантической сети, в качестве узлов выступают различные типы сущностей внешнего мира: объекты, отношения, действия, состояния. Отношения и действия могут относиться к разным категориям - экономическим, политическим, личным. Необходимо уметь временно исключать их из рассмотрения, как это умеет делать человеческий мозг.

На разных слоях сети возможно представление разных уровней агрегированной информации. Например, на нижнем приводятся факты, взятые непосредственно из источников; на среднем - промежуточные выводы аналитиков; на вернем - окончательные заключения.

Фрагмент графической сети иногда необходимо представить в текстовом виде. Для этого следует предусмотреть возможность генерации текстового документа.

Такая сеть может содержать как базовые факты, так и сами аналитические выводы и способна заменить тот самый "черновой" документ, о котором говорилось выше. А генерируемый текстовый документ может послужить каркасом создаваемой аналитической записки.

На сегодняшний день на российском рынке имеется ряд программных продуктов, полностью или частично поддерживающих данную технологию. Рассмотрим их подробнее.

Что предлагается сегодня?

Следует отметить, что продуктов, полностью поддерживающих рассмотренную выше технологию, представлено достаточно мало. Среди них - информационно-аналитическая система "Семантический Архив" российской компании "Аналитические бизнес решения" (www.anbr.ru). Из других систем, представленных на рынке, часть описанной функциональности реализует система "Analyst Notebook" английской компании i2 (www.i2.co.uk), а также ИАС "Cronos" российской компании "Кронос Информ" (www.cronos.ru). Электронные библиотеки документов можно создавать с помощью системы "Галактика-ZOOM" корпорации "Галактика" (www.galaktika.ru) и ИАС "Астарта" компании Cognitive Technology (www.cognitive.ru).

Рассмотрим более подробно возможности системы "Семантический Архив".

ИАС "Семантический Архив" выполняет сразу несколько функций: ведение досье на объекты, организация единого хранилища фактографических данных, автоматизация выделения смысловых фрагментов (знаний) из текстов документов, организация хранилища знаний и электронной библиотеки документов, конструирование семантических отчетов. Весь этот набор функций позволяет решать одну из основных задач - автоматизация проведения аналитических исследований.

Работа системы основана на следующем принципе. Помимо документов и таблиц с данными, в едином информационном хранилище хранятся карточки на объекты, упомянутые в документах, карточки на отношения и действия этих объектов в различные моменты времени. По сути, шаблоны карточек - это аналог таблиц в реляционных базах данных, а сами карточки - аналог записей в этих таблицах.

Поиск нужной информации в основном происходит с помощью поиска по полям карточек: "кто купил акции", "где проводилась встреча", "когда произошел разрыв отношений". Достигается это путем особой обработки документов, сводящейся к автоматическому извлечению из текста фактов упоминания объектов и автоматизированному извлечению (с участием специально подготовленных пользователей - операторов) упоминаемых в тексте отношений и действий. Так как свойства карточек индексируются системой, поиск в таком архиве происходит практически мгновенно.

Компания "Аналитические бизнес решения" разработала базу данных "События на металлургическом и нефтегазовом рынках". Она поставляется вместе с ИАС "Семантический Архив" (рис. 1). В базе данных хранятся электронные версии статей из СМИ, досье на ведущие компании и персоны, отношения между ними и события, происходившие с ними за последние два года.

Пример организации архива документов и знаний

Рассмотрим, как можно организовать архив документов, фактографических данных и знаний с целью ведения досье на персоны и компании при помощи ИАС "Семантический Архив". Для примера возьмем одного из ведущих игроков российского рынка - компанию "ЛУКОЙЛ".

Досье на компанию представляет собой карточку на объект, в полях которой записаны справочные свойства. С ней связаны карточки по различным фактам ее состояния, взаимоотношений и событий, происходивших в различные периоды времени. К ним относятся объемы добычи и транспортировки, цены акции на биржах, партнеры и конкуренты, проекты, дочерние компании и пр.

Карточки, в свою очередь, ссылаются на источники, из которых они были извлечены. Как уже говорилось выше, это могут быть статьи СМИ, внутренние документы компании, таблицы различных баз данных и пр. Эта структура и образует досье на объект. Вся информация была извлечена из открытых источников.

На представленной на рис. 2 семантической сети компания "ЛУКОЙЛ" выбрана в качестве центрального узла. На семантической сети отражаются ее отношения с другими компаниями, персонами и государственными организациями. На схеме также представлены события, которые произошли с данной компанией. Отношения и события представлены узлами со знаком . Их полные названия отображаются в отдельном окне.

По компании "ЛУКОЙЛ" в системе хранятся несколько сот фактов ее деятельности на российском и западном рынках.

Рассмотрим событие "Saudi Aramco и Лукойл учредили СП "ЛУКОЙЛ Сауди Арабия Энерджи Лтд." для выполнения контракта", которое произошло весной 2004 г. Это действие относится к типу <Учреждение организации>. Действие связано также с компаниями "LUKOIL Saudi Arabia Energy Limited" и "Saudi Aramco".

На схеме видно, что инициатором действия является компания "ЛУКОЙЛ". Роли других участников можно увидеть, выбрав данное действие в качестве центрального узла сети. Компании "Saudi Aramco" и "ЛУКОЙЛ" выступают в роли "инициаторов действия", а учреждаемая компания "LUKOIL Saudi Arabia Energy Limited" является "объектом воздействия".

На семантической сети отражаются только важные связи между объектами. Все свойства и связи объекта или события можно просмотреть в отдельном окне "Инспектор свойств и связей".

Вышеуказанное событие было извлечено из документа "ЛУКОЙЛ подписал контракт на разведку и добычу газа с Саудовской Аравией". Статья была опубликована на сайте RusEnergy.com 9 марта 2004 г. (рис. 3).

[an error occurred while processing this directive]

Версия для печати