THE USE OF CONTROL THEORY METHODS IN TRAINING NEURAL NETWORKS ON THE EXAMPLE OF TEETH RECOGNITION ON PANORAMIC X-RAY IMAGES

Анотація

У статті досліджено модифікацію стохастичного градієнтного спуску (SGD) на основі раніше розробленої теорії стабілізації дискретних циклів динамічної системи. Співвідношення між стабілізацією циклів у дискретних динамічних системах та знаходженням екстремальних точок дозволило застосувати нові методи управління для прискорення градієнтного спуску при наближенні до локальних мінімумів. Градієнтний спуск часто використовується для навчання глибоких нейронних мереж нарівні з іншими ітераційними методами. Експериментували з двома градієнтами SGD та Адам, було проведено порівняльні експерименти. Усі експерименти проводилися під час вирішення практичної задачі розпізнавання зубів на 2-D панорамних знімках. Мережеве навчання показало, що новий метод перевершує SGD за його можливостями, а що стосується обраних параметрів, то він наближається до можливостей Адам, що є “найсучаснішим” методом. Таким чином, показана практична корисність використання теорії управління у навчанні глибоких нейронних мереж та можливість розширення її придатності у процесі створення нових алгоритмів у цій важливій галузі.