Моделі, методи та інформаційні технології прогнозування нелінійних нестаціонарних процесів в умовах невизначеності

Abstract

Терентьєв О. М. Моделі, методи та інформаційні технології прогнозування нелінійних нестаціонарних процесів в умовах невизначеності. – Кваліфікаційна праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора технічних наук за фахом 05.13.06 «Інформаційні технології». – Інститут телекомунікацій і глобального інформаційного простору, Національна академія наук України, Київ, 2021. Дисертаційну роботу присвячено вирішенню актуальної науковоприкладної проблеми розроблення і використання моделей та методів прогнозування нелінійних нестаціонарних процесів (ННП) різної природи, призначених до використання у сучасних інформаційних системах підтримки прийняття рішень У дисертації розроблено нову інформаційну технологію для реалізації та використання прогнозуючих моделей високого ступеня адекватності та якості, що дозволяє прогнозувати ННП різних типів. Розроблена інформаційна технологія ґрунтується на принципах багатомодельного підходу, інтеграції структурованої та неструктурованої інформації, системному використанні методів інтелектуального аналізу даних, моделювання, прогнозування та прийняття рішень. Науковими результатами досліджень є інформаційна технологія для розв’язання задач прогнозування ННП, удосконалені методи прогнозування ННП різної природи на основі використання ймовірнісних та комбінованих прогнозів, метод оцінювання параметрів математичних моделей та їх ансамблів, метод розкриття невизначеностей різних типів за допомогою ймовірнісно-статистичних методів з метою коректного розв’язання задач прогнозування розвитку обраних процесів,. підходи, що забезпечують адекватний опис причиннонаслідкових зав’язків різних груп чинників та визначення можливих варіантів розвитку досліджуваних ННП, побудовано та реалізовано інформаційну технологію для розв'язання задач моделювання та прогнозування ННП для її подальшого використання у системах підтримки прийняття рішень. В роботі запропонований новий робастний непараметричний метод для аналізу ННП за їх подібністю. Суть методу полягає у пошуку процесів (часових рядів) досліджуваного типу зі схожою статистичною поведінкою, що в результаті допомагає зробити висновки стосовно наявність шаблонів поведінки досліджуваних процесів. Проведено аналіз складності алгоритму побудови оптимального шляху переміщення по матриці відстаней. Виконано огляд існуючих метрик для оцінювання якості побудови шляху переміщення, які забезпечують оптимізацію процесу аналізу подібності процесів. У дисертаційному дослідженні запропоновано власну метрику, призначену для оцінювання ступення близькості досліджуваних часових рядів, яка підвищує коректність використання алгоритму аналізу подібності процесів. Науковими результатами досліджень також є запропонована та реалізована методику побудови мережі Байєса за наявності прихованих вершин. Наведено приклад успішного застосування інформаційної технології аналізу даних на основі мереж Байєса для моделювання і прогнозування економічних процесів на регіональному рівні. Запропоновано використання різних типів інформаційних технологій прогнозування, в основу яких покладено поетапне розкриття невизначеностей різної природи, уточнення результатів моделювання на кожному етапі дослідження. В основу запропонованої технології покладено багатомодельний підхід, який ґрунтується на використанні множини різнотипних моделей: регресійний аналіз, байєсівське моделювання і прогнозування, технологія на основі застосування методу аналізу подібності, аналізу неструктурованих даних. При цьому кожний тип моделей призначений для виконання поставленої конкретної задачі. Регресійне моделювання забезпечує формування моделей на основі множини допустимих регресорів, їх оптимального вибору для конкретної моделі з наступним оцінюванням одно- або багатокрокового прогнозу. У дисертаційному дослідженні запропонована методика моделювання, що має в основі пошук історичних аналогій поведінки досліджуваних процесів. В цьому випадку використовується історична вибірка даних та відрізок-шаблон для якого виконується пошук історичного аналогу, оскільки зазвичай для таких задач виміри прив’язані до часу. Згідно з принципами багатомодельного підходу розроблено метод синтезу інформаційних технологій застосований для розв’язування задач прогнозування розвитку нелінійних нестаціонарних процесів різної природи, який ґрунтується на інтеграції різнотипної інформації й заснований на системному використанні методів аналізу даних, моделювання, методів прогнозування. Запропонована інформаційна технологія реалізована із використанням спеціальних мов програмування SAS/Base та SAS/IML і має гнучку архітектуру. Методи, що були розроблені та реалізовані в роботі призначені насамперед для автоматизації процесу інтелектуального аналізу даних що описують досліджувані процеси. Наукова новизна одержаних результатів визначається такими теоретичними і практичними результатами, отриманими автором: Уперше: - розроблено новий метод опрацювання невизначеностей, який ґрунтується на застосуванні теорії подібності процесів, який відрізняється робастністю результатів аналізу, що забезпечує отримання оцінок прогнозів високої якості за наявності неповних або спотворених даних; - запропоновано новий метод побудови регресійних та ймовірнісностатистичних моделей у формі мереж Байєса, який відрізняється можливістю врахування нестаціонарності і нелінійності стосовно змінних, що забезпечує високу адекватність моделей і якість прогнозів процесів досліджуваного типу; - розроблено метод моделювання ННП різної природи в умовах невизначеності, який відрізняється від відомих урахуванням різних типів невизначеностей, що підвищує адекватність моделей і якість оцінок прогнозів за лінійними та нелінійними моделями; - побудовано та досліджено ансамблі моделей для формального опису ННП, які відрізняються модифікованою комплексною структурою та високою адекватністю, що дозволяє підвищити якість оцінювання прогнозів розвитку досліджуваних процесів; - запропоновано метод прогнозування, оснований на використанні адаптивного підходу до моделювання у поєднанні із статистичним та ймовірнісним моделюванням, що дає можливість урахувати структурнопараметричні невизначеності і забезпечує адекватний опис причиннонаслідкових зв’язків і можливих варіантів розвитку процесів різної природи під впливом груп внутрішніх та зовнішніх чинників; - запропоновано нові моделі і методи створення інформаційних технологій розв’язування задач побудови математичних моделей для прогнозування ННП, які ґрунтуються на принципах багатомодельного та багатокритеріального підходів, інтеграції різнотипної інформації і засновані на системному використанні методів інтелектуального аналізу даних, ймовірнісно-статистичного моделювання, теорії подібності процесів, прогнозування і підтримки прийняття рішень, що підвищує обґрунтованість прийняття рішень в умовах наявності невизначеностей та ризиків різних типів; - розроблено інформаційну технологію, в основу якої покладено поєднання принципів системного аналізу, методів обробки та оцінювання якості даних, прогнозного моделювання із використанням нових моделей та їх композицій, запропонованих критеріїв адекватності моделей, оцінок якості прогнозів, яка забезпечує високу якість проміжних та остаточних результатів дослідження ННП. Удосконалено та розвинуто: - інформаційну технологію розв’язання задач прогнозування розвитку досліджуваних процесів ННП, яка створює підґрунтя для прийняття ефективних рішень; - метод оцінювання параметрів математичних моделей, який відрізняється комплексним застосуванням теорії оцінювання та байєсівського підходу, що забезпечує подолання проблеми зміщеності оцінок; - інформаційну технологію, призначену для реалізації у системах підтримки прийняття рішень на основі системного підходу, множини методів ідентифікації і врахування невизначеностей, регресійного та інтелектуального аналізу даних, яка забезпечує побудову адекватних моделей досліджуваних процесів і обчислення високоякісних оцінок прогнозів. Практичне значення отриманих результатів полягає у тому, що запропонована методики аналізу ННП перевірена експериментальним шляхом. Було побудовано множину довго-, середньо-, короткострокових та дуже короткострокових математичних моделей прогнозування навантаження енергосистеми в енергетиці. Методика була застосована під час торгівлі криптовалютою біткоїн в парі з доларами США, за вісім місяців отримано майже 43 центи прибутку на 1 долар, вкладений у біткоіни. Виконано застосування теорії подібності процесів для вирішення задачі прогнозування поширення коронавірусної хвороби, в рамках якого було підтверджено, що недостатнє охоплення населення тестуванням впливає на об’єктивну статистичну картину урахування кількості хворих та померлих внаслідок коронавірусної хвороби, тому для уникнення спотворення вхідних даних, в роботі використано підхід уточнення значень показників із урахуванням значень аналогів-країн. В рамках багатомодельного підходу успішно продемонстровано на прикладі розв’язання практичної задачі групування регіонів України за обсягом капітальних інвестицій, спрямовуваних на охорону навколишнього середовища. На основі запропонованої нового робастного непараметричного методу аналізу ННП за їх подібністю виконано аналіз щодо продуктивності праці у сільськогосподарських підприємствах. Запропоновані методи і моделі доведені до рівня практичної реалізації у вигляді інформаційної технології що дозволяє аналізувати та прогнозувати ННП в умовах невизначеності. Отримані теоретичні та практичні результати дисертаційної роботи використовуються в науково-практичній діяльності наступних підприємств та установ – Державній службі України з лікарських засобів та контролю за наркотиками; ТОВ «Картезіан-Європа»; Smart Arbitrage Technologies Limited та у навчальному процесі Інституту прикладного системного аналізу Національного технічного університету «Київський політехнічний інститут імені Ігоря Сікорського», що підтверджується відповідними актами та довідками про впровадження.