URN: http://vtn.chdtu.edu.uaurn:2306:44554.2019.184808

DOI: https://doi.org/10.24025/2306-4412.4.2019.184808

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ВИЗНАЧЕННЯ КОРИСНИХ ДАНИХ ПРИ ОПТИМІЗАЦІЇ СТРУКТУРИ ТА МІНІМІЗАЦІЇ ОБСЯГІВ ВУЗЛА РОЗПОДІЛЕНОЇ БД

Михайло Леонідович Дворецький, Світлана Володимирівна Дворецька, Євген Олександрович Давиденко

Анотація


Дослідження ставить на меті підвищення рівня загальної доступності даних в окремому вузлі розподіленої бази даних та ефективності використання програмних систем по роботі з даними за рахунок зменшення кількості розподілених запитів. Мета досягається шляхом оптимізації структури вузла розподіленої бази даних та мінімізації обсягів даних, що зберігаються у ньому. Для досягнення мети було створено підсистему обліку користувацьких запитів, граматику мови T-SQL та виконано парсинг коду SQL-запитів. В результаті запити класифікуються за списком таблиць бази даних, які трапляються у запиті, а також, після виконання більш детального аналізу, за списком атрибутів та кортежів відношення. Останнє досягається за рахунок виконання набору запитів зі зверненням до первинного ключа кожного відношення, що входить до складу запиту. Виконання повного аналізу оцінки корисності атрибутів та кортежів таблиць бази даних є досить ресурсоємною операцією, тому не може виконуватися при кожній зміні даних. У рамках дослідження запропоновано реалізувати вирішення задачі класифікації нових даних із використанням нейронної мережі прямого поширення, що навчається на базі оцінених попередньо даних на базі парсингу SQL-запитів. Враховуючи необхідність виконання аналізу накопичених даних з точки зору множинності вимірів, а також, ймовірно, великі їх обсяги, було виконано представлення даних, необхідних для аналізу, у вигляді багатовимірної моделі.


Ключові слова


розподілена транзакція; система керування базами даних; розподілена база даних; розподілений SQL-запит; реплікація даних; парсинг тексту; дерево парсингу; профайлінг; ANTLR; OLAP; задача класифікації; нейронна мережа; інтелектуальний аналіз даних.

Повний текст:

PDF

Посилання


N. Kozliuk, and S. Ugrimova, Warehouse accounting in trade enterprises. Feniks, 2005 [in Russian].

Trading, warehouse and CRM in the cloud. [Online]. Available: https://www.moysklad.ru

M. L. Dvoretskyi, S. V. Dvoretska, and S. Yu. Borovlova, " Web-based warehouse accounting application in non-automated outlets", Naukovi pratsi Chornomor. nats. un-tu im. Petra Mohyly kompleksu «Kyievo-Mohylianska akademiia». Seriia: Kompiuterni tekhnolohii: sci.-method. journ. Mykolaiv: Vyd-vo ChNU im. P. Mohyly, iss. 308, vol. 320, pp. 45-52, 2018 [in Ukrainian].

1C: Enterprise 8. Management of a trade enterprise for Ukraine. [Online]. Available: http://rarus.com.ua/torgovyy-i-skladskoy-uchet/1S_Predpriyatie_8_Upravlenie_torgovym_predpriyatiem_dlya_Ukrainy_

M. Kuznetsov, and I. Symdianov, MySQL 5. St. Petersburg: BKhV-Peterburg, 2010 [in Russian].

D. Petkovych, Microsoft SQL Server 2008: beginner's guide, transl. from Engl. St. Petersburg: BKhV-Peterburg, 2009 [in Russian].

T. Konnolli, and K. Begg, Databases. De-sign, implementation and maintenance. Theory and practice, 3rd ed., transl. from Engl. Moscow: Wiliams, 2003 [in Russian]

M. Tamer Özsu, and Patrick Valduriez. Principles of distributed database systems, 3rd ed. Springler, 2011.

Automatic synchronization of distributed databases in split mode. [Online]. Available: http://stimul.kiev.ua/materialy.htm?a=avtom ati-cheskaya_sinkhronizatsiya_raspredelennykh_baz_dannykh_v_razdelennom_rezh

D. D. Ulman, D. Uidom, and G. Garsya-Molina. Database systems: full course. Moscow: Wiliams, 2004 [in Russian].

Transaction Management (Database Engine component) [Online]. Available: https://technet.microsoft.com/ru-ru/library/ ms175523(v=sql.105).aspx

Rebekka M. Raiordan, Relational database fundamentals. Moscow: Russkaia Redakt-syia, 2001 [in Russian].

M. L. Dvoretskyi, "Design and evaluation of data warehouse structure and multidi-mensional database structure", Naukovi pratsi Chornomor. nats. un-tu im. Petra Mohyly kompleksu «Kyievo-Mohylianska akademiia». Seriia: Kompiuterni tekhnolo-hii: sci.-method. journ. Mykolaiv: Vyd-vo MDHU im. P. Mohyly, iss. 77, vol. 90, pp. 52-60, 2008 [in Ukrainian].

The use of synchronous and asynchronous database operations. [Online]. Available: http://help.adobe.com/ru_RU/as3/dev/WS5b3cc c516d4fbf351e63e3d118666ade46-7d39.html

M. L. Dvoretskyi, Ye. O. Davydenko, and S. Yu. Borovlova, "Design of the structure of a distributed database based on SQL query parsing". Naukovi pratsi Chornomor. nats. un-tu im. Petra Mohyly kompleksu «Kyievo-Mohylianska akademiia». Seriia: Kompiuterni tekhnolohii: sci.-method. journ. Mykolaiv: Vyd-vo MDHU im. P. Mohyly, iss. 275, vol. 287, pp. 53-61, 2016 [in Ukrainian].

M. Fisun, M. Dvoretskyi, A. Shved, and Y. Davydenko, "Query parsing in order to optimize distributed DB structure," in 9th IEEE Int. Conf. Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), Buchar-est, 2017, pp. 172-178.doi: 10.1109/IDAACS.2017.8095071

What is an artificial neural network? Here’s everything you need to know. [Online]. Available: https://www.digitaltrends.com/ cool-tech/what-is-an-artificial-neural-network/

M. T. Fisun, M. L. Dvoretskyi, and A. V. Yukhatov, "Comparative analysis of methods for building olap systems using MS SQL SERVER and ORACLE", Naukovi pratsi Chornomor. nats. un-tu im. Petra Mohyly kompleksu «Kyievo-Mohylianska akademiia». Seriia: Kompiuterni tekhnolo-hii: sci.-method. journ. Mykolaiv: Vyd-vo MDHU im. P. Mohyly, iss. 271, vol. 283, pp. 36-42, 2016 [in Ukrainian].


Пристатейна бібліографія ГОСТ


[1] Н. Козлюк, и С. Угримова, Складской учет на предприятиях торговли. Феникс, 2005.

[2] Торговля, склад и CRM в облаке. [Электронный ресурс]. Режим доступа: https://www.moysklad.ru

[3] М. Л. Дворецький, С. В. Дворецька та С. Ю. Боровльова, "Web-застосунок складського обліку в неавтоматизованих торгових точках", Наукові праці Чорно-мор. нац. ун-ту ім. Петра Могили комплексу «Києво-Могилянська академія». Серія: Комп’ютерні технології: наук.-метод. журн. Миколаїв: Вид-во ЧНУ ім. П. Могили, вип. 308, т. 320, с. 45-52, 2018.

[4] 1С: Предприятие 8. Управление торго-вым предприятием для Украины. [Элек-тронный ресурс]. Режим доступа: http://rarus.com.ua/torgovyy-i-skladskoy-uchet/1S_Predpriyatie_8_Upravlenie_torgovym_predpriyatiem_dlya_Ukrainy_/

[5] М. Кузнецов, и И. Симдянов, MySQL 5. Санкт-Петербург: БХВ-Петербург, 2010.

[6] Д. Петкович, Microsoft SQL Server 2008: руководство для начинающих / пер. с англ. Санкт-Петербург: БХВ-Петербург, 2009.

[7] Т. Коннолли, и К. Бегг, Базы данных. Проектирование, реализация и сопровождение. Теория и практика, 3-е изд. / пер. с англ. Москва: Вильямс, 2003.

[8] M. Tamer Özsu, and P. Valduriez, Principles of distributed database systems. 3rd ed. Springler, 2011.

[9] Автоматическая синхронизация распределенных баз данных в разделенном режиме. [Электронный ресурс]. Режим доступа: http://stimul.kiev.ua/ materialy.htm?a=avtomaticheskaya_sinkhronizatsiya_raspredelennykh_baz_dannykh_v_razdelennom_rezh

[10] Д. Д. Ульман, Д. Уидом и Г. Гарсиа-Молина, Системы баз данных: полный курс. Москва: Вильямс, 2004.

[11] Управление транзакциями (компонент Database Engine). [Электронный ресурс]. Режим доступа: https://technet.microsoft.com/ru-ru/library/ms175523(v=sql.105).aspx

[12] Ребекка М. Райордан, Основы реляционных баз данных. Москва: Русская Редакция, 2001.

[13] М. Л. Дворецький, "Проектування та оцінка оптимальності структури сховища даних та багатовимірної БД", Наукові праці Чорномор. нац. ун-ту ім. Петра Могили комплексу «Києво-Могилянська академія». Серія: Комп’ютерні технології: на-ук.-метод. журн. Миколаїв: Вид-во МДГУ ім. П. Могили, вип. 77, т. 90, с. 52-60, 2008.

[14] Использование синхронных и асинхронных операций базы данных. [Электронный ресурс]. Режим доступа: http://help.adobe.com/ru_RU/as3/dev/WS5b3ccc516d4fbf351e63e3d118666ade46-7d39.html

[15] М. Л. Дворецький, Є. О. Давиденко, та С. Ю. Боровльова, "Проектування струк-тури розподіленої БД на базі парсингу SQL-запитів". Наукові праці Чорномор. нац. ун-ту ім. Петра Могили комплексу «Києво-Могилянська академія». Серія: Комп’ютерні технології: наук.-метод. журн. Миколаїв: Вид-во ЧНУ ім. П. Могили, вип. 275, т. 287, с. 53-61, 2016.

[16] M. Fisun, M. Dvoretskyi, A. Shved, and Y. Davydenko, "Query parsing in order to optimize distributed DB structure," in 9th IEEE Int. Conf. Intelligent Data Acquisition and Advanced Computing Systems: Tech-nology and Applications (IDAACS), Bucharest, 2017, pp. 172-178. doi: 10.1109/IDAACS.2017.8095071

[17] What is an artificial neural network? Here’s everything you need to know. [Online]. Available: https://www.digitaltrends.com/
cool-tech/what-is-an-artificial-neural-network/

[18] М. Т. Фісун, М. Л. Дворецький, та А. В. Юхатов, "Порівняльний аналіз ме-тодів побудови olap-систем із використанням засобів MS SQL SERVER та ORACLE", Наукові праці Чорномор. нац. ун-ту ім. Петра Могили комплексу «Києво-Могилянська академія». Серія: Комп’ютерні технології: наук.-метод. журн. Миколаїв: Вид-во ЧНУ ім. П. Могили, вип. 271, т. 283, с. 36-42, 2016.





Copyright (c) 2019 Михайло Леонідович Дворецький, Світлана Володимирівна Дворецька, Євген Олександрович Давиденко