Студопедия
Новини освіти і науки:
МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах


РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання


ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ"


ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ


Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків


Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні


Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах


Гендерна антидискримінаційна експертиза може зробити нас моральними рабами


ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ


ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів



Контакти
 


Тлумачний словник
Авто
Автоматизація
Архітектура
Астрономія
Аудит
Біологія
Будівництво
Бухгалтерія
Винахідництво
Виробництво
Військова справа
Генетика
Географія
Геологія
Господарство
Держава
Дім
Екологія
Економетрика
Економіка
Електроніка
Журналістика та ЗМІ
Зв'язок
Іноземні мови
Інформатика
Історія
Комп'ютери
Креслення
Кулінарія
Культура
Лексикологія
Література
Логіка
Маркетинг
Математика
Машинобудування
Медицина
Менеджмент
Метали і Зварювання
Механіка
Мистецтво
Музика
Населення
Освіта
Охорона безпеки життя
Охорона Праці
Педагогіка
Політика
Право
Програмування
Промисловість
Психологія
Радіо
Регилия
Соціологія
Спорт
Стандартизація
Технології
Торгівля
Туризм
Фізика
Фізіологія
Філософія
Фінанси
Хімія
Юриспунденкция






ВІЛЬНИЙ ПОШУК (у тому числі ВАЛІДАЦІЯ) ® ПРОГНОСТИЧНЕ МОДЕЛЮВАННЯ ® АНАЛІЗ ВИКЛЮЧЕНЬ

Класифікація стадій Data Mining

Data Mining може складатися із двох або трьох стадій:

Стадія 1. Виявлення закономірностей (вільний пошук).

Стадія 2. Використання виявлених закономірностей для прогнозування невідомих значень (прогностичне моделювання).

На доповнення, до цих стадій іноді вводять стадію валідації, що випливає за стадією вільного пошуку. Ціль валідації – перевірка достовірності знайдених закономірностей. Однак, ми будемо вважати валідацію частиною першої стадії, оскільки в реалізації багатьох методів, зокрема, нейронних мереж і дерев рішень, передбачено поділ загальної множини даних на навчальну та перевірочну, і останнє дозволяє перевіряти достовірність отриманих результатів.

Стадія 3. Аналіз виключень – стадія призначена для виявлення та пояснення аномалій, знайдених у закономірностях.

Отже, процес Data Mining може бути представлений поруч таких послідовних стадій:

 

1. Вільний пошук (Discovery)

На стадії вільного пошуку здійснюється дослідження набору даних з метою пошуку прихованих закономірностей. Попередні гіпотези щодо виду закономірностей тут не визначаються.

Закономірність (law) – істотна і постійно повторювана взаємозалежність, що визначає етапи і форми процесу становлення, розвитку різних явищ або процесів.

Система Data Mining на цій стадії визначає шаблони, для одержання яких у системах OLAP, наприклад, аналітикові необхідно обмірковувати та створювати безліч запитів. Тут же аналітик звільняється від такої роботи – шаблони шукає за нього система. Особливо корисне застосування даного підходу в надвеликих базах даних, де вловити закономірність шляхом створення запитів досить складно, для цього потрібно перепробувати безліч різноманітних варіантів.

Вільний пошук представлений такими діями:

Ø виявлення закономірностей умовної логіки (conditional logic);

Ø виявлення закономірностей асоціативної логіки (associations and affinities);

Ø виявлення трендів і коливань (trends and variations).

Допустимо, є база даних кадрового агентства з даними про професію, стаж, вік і бажаний рівень винагороди. У випадку самостійного надання запитів аналітик може одержати приблизно такі результати: середній бажаний рівень винагороди фахівців у віці від 25 до 35 років дорівнює 1200 умовним одиницям. У випадку вільного пошуку система сама шукає закономірності, необхідно лише задати цільову змінну. У результаті пошуку закономірностей система сформує набір логічних правил "якщо ..., то ...".

Можуть бути знайдені, наприклад, такі закономірності "Якщо вік < 20 років і бажаний рівень винагороди > 700 умовних одиниць, то в 75% випадків здобувач шукає роботу програміста" або "Якщо вік >35 років і бажаний рівень винагороди > 1200 умовних одиниць, то в 90% випадків здобувач шукає керівну роботу". Цільовий змінної в описаних правилах виступає професія.

При наданні іншої цільової змінної, наприклад, віку, одержуємо такі правила: "Якщо здобувач шукає керівну роботу і його стаж > 15 років, то вік здобувача > 35 років в 65 % випадків".

Описані дії, у рамках стадії вільного пошуку, виконуються за допомогою:

Ø індукції правил умовної логіки (задачі класифікації і кластеризації, опис у компактній формі близьких або схожих груп об'єктів);

Ø індукції правил асоціативної логіки (задачі асоціації і послідовності та інформація, що добувається при їхній допомозі);

Ø визначення трендів і коливань (вихідний етап задачі прогнозування).

На стадії вільного пошуку також повинна здійснюватися валідація закономірностей, тобто перевірка їх достовірності на частині даних, які не брали участь у формуванні закономірностей. Такий прийом поділу даних на навчальну та перевірочну множину часто використовується в методах нейронних мереж і дерев рішень і буде описаний у відповідних лекціях.

 

2. Прогностичне моделювання (Predictive Modeling)

Друга стадія Data Mining – прогностичне моделювання – використовує результати роботи першої стадії. Тут виявлені закономірності використовуються безпосередньо для прогнозування.

Прогностичне моделювання включає такі дії:

Ø прогнозування невідомих значень (outcome prediction);

Ø прогнозування розвитку процесів (forecasting).

У процесі прогностичного моделювання вирішуються завдання класифікації і прогнозування.

При вирішенні завдання класифікації результати роботи першої стадії (індукції правил) використовуються для віднесення нового об'єкта, з певною впевненістю, до одного з відомих, визначених класів на підставі відомих значень.

При вирішенні завдання прогнозування результати першої стадії (визначення тренда або коливань) використовуються для прогнозування невідомих (пропущених або ж майбутніх) значень цільовий змінної (змінних).

Продовжуючи розглянутий приклад першої стадії, можемо зробити наступний висновок.

Знаючи, що здобувач шукає керівну роботу і його стаж > 15 років, на 65 % можна бути впевненим у тому, що вік здобувача > 35 років. Або ж, якщо вік здобувача > 35 років і бажаний рівень винагороди > 1200 умовних одиниць, на 90% можна бути впевненим у тому, що здобувач шукає керівну роботу.

 


Читайте також:

  1. ABC-XYZ аналіз
  2. II. Багатофакторний дискримінантний аналіз.
  3. SWOT-аналіз у туризмі
  4. SWOT-аналіз.
  5. Tема 4. Фації та формації в історико-геологічному аналізі
  6. V. Нюховий аналізатор
  7. Абсолютизація формально-технічних пошуків у мистецтві ХХ ст.
  8. АВС (XYZ)-аналіз
  9. Автомати­зовані інформаційні систе­ми для техніч­ного аналізу товар­них, фондових та валют­них ринків.
  10. Алгоритм моделювання систем масового обслуговування
  11. Алгоритм однофакторного дисперсійного аналізу за Фішером. Приклад
  12. Альтернативна вартість та її використання у проектному аналізі




Переглядів: 1421

<== попередня сторінка | наступна сторінка ==>
Приклад 1. | Класифікація методів Data Mining

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

 

© studopedia.com.ua При використанні або копіюванні матеріалів пряме посилання на сайт обов'язкове.


Генерація сторінки за: 0.005 сек.