РОЗРОБКА СИСТЕМИ РОЗПІЗНАВАННЯ ОБЛИЧЧЯ ЛЮДИНИ У ВІДЕОПОТОЦІ З ДОПОВНЕНОЮ РЕАЛЬНІСТЮ

Автор(и)

  • Олена Борисівна Данченко Черкаський державний технологічний університет
  • Олег Євгенович Іларіонов Київський національний університет імені Тараса Шевченка
  • Ганна Валеріївна Красовська Київський національний університет імені Тараса Шевченка
  • Тетяна Сергіївна Короткова Київський національний університет імені Тараса Шевченка

DOI:

https://doi.org/10.24025/2306-4412.3.2020.200277

Ключові слова:

розпізнавання обличчя, доповнена реальність, попередня обробка зображення, виявлення обличчя, виявлення ключових ознак

Анотація

Розглянуто проблему розпізнавання обличчя людини у відеопотоці з доповненою реальністю, досліджено сучасний стан питання. Вивчено загальний процес розпізнавання обличчя та основні поняття доповненої реальності. Проведено аналіз сучасних підходів до розв’язання задачі розпізнавання обличчя, виявлено сильні та слабкі сторони використовуваних методів. Проведено пошук методу, інваріантного до масштабування, зміни сцени, поворотів голови, зміни освітленості, аксесуарів та зміни емоцій. Розроблено алгоритм, архітектуру та саму програмну систему, що розв’язує задачу розпізнавання обличчя людини у відеопотоці з доповненою реальністю. Методом для виявлення облич обрано гістограму направлених градієнтів (від англ. “Histogram of Oriented Gradients”, HOG), розпізнавання облич розроблено на основі згорткової нейронної мережі архітектури ResNet34. Проведено експериментальні дослідження, систему протестовано як на одному, так і на кількох обличчях одночасно. Визначено оцінки якості розпізнавання розробленої програмної системи – побудова ROC-кривих, які показують залежність кількості помилкових спрацьовувань алгоритму розпізнавання (false positive) від точності розпізнавання (true positive rate), та обчислення AUC (від англ. “Area Under the Curve”). При розпізнаванні одного обличчя досягнуто значення AUC 0,95, при розпізнаванні кількох облич (максимум чотирьох) – 0,83

Біографії авторів

Олена Борисівна Данченко, Черкаський державний технологічний університет

професор кафедри програмного забезпечення автоматизованих систем

Олег Євгенович Іларіонов, Київський національний університет імені Тараса Шевченка

доцент кафедри інтелектуальних технологій

Ганна Валеріївна Красовська, Київський національний університет імені Тараса Шевченка

в.о. завідувача кафедри інтелектуальних технологій

Тетяна Сергіївна Короткова, Київський національний університет імені Тараса Шевченка

магістрант кафедри інтелектуальних технологій

Посилання

P. Sharma, R. N. Yadav, and K. V. Arya, "Pose-invariant face recognition using curvelet neural network", IET Biometrics, vol. 3, no. 3, pp. 128-138, Sept. 2014.

Y. Gong, S. Lazebnik, A. Gordo, and F. Perronnin, "Iterative quantization: A procrustean approach to learning binary codes for large-scale image retrieval", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, iss. 12, pp. 2916-2929, 2012, doi: 10.1109/TPAMI.2012.193.

K. Grauman, and R. Fergus, "Learning binary hash codes for large-scale image search", in Machine Learning for Computer Vision, R. Cipolla, S. Battiato, and G. M. Farinella, Eds. Berlin, Heidelberg: Springer, 2013, pp. 49-87, doi: 10.1007/978-3-642-28661-2_3.

W. Wang, J. Yang, J. Xiao, S. Li, and D. Zhou, "Face recognition based on deep learning", in Human Centered Computing, Q. Zu, B. Hu, N. Gu, S. Seng, Eds. Springer, 2015, doi: 10.1007/978-3319-15554-8_73.

X. Wu, "Learning robust deep face representation", arXiv preprint, 2015. [Online]. Available: https://arxiv.org/pdf/ 1507.04844.pdf. Accessed on: April 8, 2020.

D. Chen, X. Cao, F. Wen, and J. Sun, "Blessing of dimensionality: High-dimensional feature and its efficient compression for face verification", Proc CVPR, pp. 3025-3032, 2013, doi: 10.1109/CVPR.2013.389.

H.-V. Nguyen, and L. Bai, "Cosine similarity metric learning for face verif-?cation", Proc ACCV, pp.709-720, 2010, doi: 10.1007/978-3-642-19309-5_55.

Yu. V. Vizilter, V. S. Gorbatsevich, A. V. Vorotnikov, and N. A. Kostromov, "Real time face identification using convolutional neural network and hash for-est", Kompyuternaya optika, no. 2, 2017. [Online]. Available: https://cyberleninka.ru/ article/n/identifikatsiya-lits-v-realnom-vremeni-s-ispolzovaniem-svyortochnyy-neyronnoy-seti-i-heshiruyuschego-lesa. Accessed: April 8, 2020.

Y. Sun, X. Wang, and X. Tang, "Deep learning face representation by joint identification-verification", Proc. 27th Int. Conf. on Neural Information Processing Systems, 2014, pp. 1988-1996.

J. Betty, I. Bülthoff, B. J. Mohlera, and I. M. Thornton, "Face recognition of full-bodied avatars by active observers in a virtual environment", Vision Research, vol. 157, pp. 242-251, 2019.

P. Milgram, and F. Kishino, "A taxonomy of mixed reality visual displays", IEICE Transactions on Information and Systems, vol. 77, no. 12, pp. 1321-1329, 1994. [Online]. Available: https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays. Accessed on: Apr. 8, 2020.

A. Nayyar, B. Mahapatra, D. Le, and G. Suseendran, "Virtual Reality (VR) & Augmented Reality (AR) technologies", Int. Journal of Engineering & Technology, vol. 7, pp.156-160 2018. [Online]. Available: https://www.researchgate.net/publication/324745910_Virtual_Reality_VR_Augmented_Reality_AR_technologies_for_tourism_and_hospitality_industry. Accessed on: Apr. 8, 2020.

K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition". [Online]. Available: https://arxiv.org/pdf/ 1512.03385.pdf. Accessed on: Apr. 8, 2020.

##submission.downloads##

Опубліковано

2020-11-23

Номер

Розділ

Інформаційні технології

URN