Data Mining и его применение

Более двухсот лет назад английский банкир, предприниматель и финансист Натан Ротшильд утверждал: «Кто владеет информацией, тот владеет миром». Но, последние десятилетие показали, насколько это спорное выражение. Ведь сейчас накопилось огромное количество информации, но понятие ее истинного смысла, овладение ею человек не всегда подвластно. Старые методы обработки информации, используемые математиками и статистиками, отнимали много времени, чтобы в результате получить конструктивную и полезную информацию.

В 1989 году Григорием Пятецким-Шапиро был предложен термин «Data Mining». Основой данного метода послужили попытки ответить на вопрос: возможно ли автоматически находить установленные закономерности, чтобы ускорить некоторые запросы к гигантским базам данных?

Зачастую под понятием Data Mining подразумевают технологию выявления скрытых взаимосвязей внутри больших баз данных; с другой стороны, есть мнение, что это процесс, при помощи которого из старых данных можно извлечь нечто новое, или же – это процесс отбора данных из скрытой и косвенной информации и представления ее в виде, подходящим для использования. В совокупности, все эти определения верно обозначают смысл Data Mining.

Этот метод нашел широкое применение в таких областях науки, как: экономика, маркетинг, технический анализ, биология, прикладная химия, астрономия, фармация, медицина. Практически любая информация может быть предметом Data Mining.

Для наглядной демонстрации цели нашего исследования мы применили процесс Data Mining для обработки данных анкетирования. Мы обработали более 50 анкет, заполненных студентами КГМУ, об отношении современной молодежи к религии и нравственности. Далее, используя программу Data Mining, выявили закономерность, которая установилась в результате ответов на значимые вопросы анкеты. Данные, полученные в результате нашего исследования, представлены в таблице 1, таблице 2 и таблице 3.

Таблица 1.

Сводка обработки наблюдений

Таблица 2.

Информация о сети

Таблица 3.

Информация о сети

При задаче программе действия «Создать», на основе введенных данных получили Data Mining. Сводка для её моделирования представлены на в таблице 4 соответственно.

Таблица 4.

Сводка для модели

Эта программа позволяет рассчитать важность переменных и составлять диаграммы по полученным результатам. Полученные данные представлены в таблице 5 и на рисунке 1.

Таблица 5.

Важность независимых переменных

Рисунок 1. Важность независимых переменных

Подводя итоги можно сказать, что данная программа позволяет установить закономерности в ряде вопросов для анкетирования. Полученные ошибки перекрестной энтропии говорят о том, что было исследовано недостаточное количество испытуемых (нужно больше), и что ряд вопросов для исследования данной тематики не представляет особой важности.

Таким образом, цель нашего исследования была достигнута. Было проведено демонстративное доказательство значимости процесса и программы Data Mining.

Подводя итоги, можно сказать, что технология Data Mining состоят из элементов способных решить наибольшее количество различных задач. Ввиду того, что Data Mining развивалась и развивается на стыке таких дисциплин, как статистика, теория информации, машинное обучение, теория баз данных, вполне закономерно, что большинство алгоритмов и методов Data Mining были разработаны на основе различных методов из этих дисциплин.

В основу современной технологии Data Mining положена концепция шаблонов, отражающих закономерности, свойственные подвыборкам данных. Поиск шаблонов производится методами, не использующими никаких априорных предположений об этих под выборках. Важной особенностью Data Mining является нестандартность и неочевидность разыскиваемых шаблонов. Иными словами, средства Data Mining отличаются от инструментов статистической обработки данных и средств OLAP тем, что вместо проверки заранее предполагаемых пользователями взаимозависимостей они на основании имеющихся данных способны находить такие взаимозависимости самостоятельно и строить гипотезы об их характере.

Data Mining представляют большую ценность для руководителей и аналитиков в их повседневной деятельности. Люди осознали, что с помощью методов Data Mining они могут получить нужные знания, благодаря этому методу можно выявить шаблоны при постановке диагноза, описывающих собрание различных симптомов для конкретных заболеваний.