ЗАСТОСУВАННЯ МЕРЕЖІ ГЛИБОКОЇ ДОВІРИ В ЗАДАЧІ РОЗПІЗНАВАННЯ ЗОБРАЖЕНЬ

Олена Іллівна Чумаченко, Геннадій Олександрович Сіпаков

Анотація


З метою дослідження концепції глибинного навчання, зокрема підміну
багатошарового перцептрона на відповідну мережу глибинної довіри, було проведено
комп’ютерне моделювання процесу навчання на тестовій виборці даних.
Багатошаровий перцептрон був замінений на мережу глибинної довіри, що
складається із послідовних обмежених машин Больцмана. Після навчання мережі
глибинної довіри алгоритмом layer-wise training було виявлено, що використання
мереж глибинної довіри значно покращує точність навчання багатошарового
перцептрона методом зворотного розповсюдження помилки.

Ключові слова


нейронні мережі; перцептрон; глибинне навчання

Повний текст:

PDF

Посилання


Bengio, Y. (2009), “Learning deep architectures for AI”, Foundations and Trends in Machine Learning, No. 21 (6), pp. 1601–1621.

Bengio, Y., Lamblin, P., Popovici, D. and Larochelle, H. (2007), “Greedy Layer-Wise Training of Deep Networks”, Advances in Neural Information Processing Systems, No. 19, pp. 153–160.

Deng, L. and Ju, D. (2013), “Deep Learning: Methods and Applications”, Foundations and Trends in Signal Processing, No. 7, pp. 197–387.

Goodfellow, I. (2014), Deep learning of representations and its application to computer vision, Avril, 139 p.

Hinton, G.E., Osindero, S. and The, Y. (2006), “A fast learning algorithm for deep belief nets”, Neural Computation, No. 18, pp. 1527–1554.

Hinton, G.E. (2002), “Training products of experts by minimizing contrastive divergence”, Neural Computation, No. 14 (8), pp. 1711–1800.

Hinton, G.E. and Salakhutdinov, R. (2006), “Reducing the dimensionality of data with neural networks”, Science, No. 313, pp. 504–507.

Salakhutdinov, R. and Hinton, G.E. (2009), “Deep Boltzmann machines”, Proceedings of The Twelfth International Conference on Artificial Intelligence and Statistics (AISTATS'09), No. 5, pp. 448–455.

Salakhutdinov, R. and Hinton, G.E. (2012), “An efficient learning procedure for deep Boltzmann machine”, Neural computation, No. 24 (8), pp. 1967–2006.

Utgoff, P. and Stracuzzi, D. (2002), “Many-layered learning”, Neural Computation, No. 14, pp. 2497–2539.


Пристатейна бібліографія ГОСТ


1. Bengio Y. Learning deep architectures for AI / Y.Bengio // Foundations and Trends in Machine Learning. – 2009. – № 21 (6). – С. 1601–1621.

2. Greedy Layer-Wise Training of Deep Networks / Y.Bengio, P.Lamblin, D.Popovici, H.Larochelle // Advances in Neural Information Processing Systems. – 2007. – № 19. – С. 153–160.

3. Deng L. Deep Learning: Methods and Applications / L.Deng, D.Yu // Foundations and Trends in Signal Processing. – 2013. – № 7. – С. 197–387.

4. Goodfellow I. Deep learning of representations and its application to computer vision // I.Goodfellow. – Avril, 2014. – 139 c.

5. Hinton G.E. A fast learning algorithm for deep belief nets / G.E. Hinton, S.Osindero, Y.The // Neural Computation. – 2006. – № 18. – С. 1527–1554.

6. Hinton G.E. Training products of experts by minimizing contrastive divergence / G.E. Hinton // Neural Computation. – 2002. – № 14 (8). – С. 1711–1800.

7. Hinton G.E. Reducing the dimensionality of data with neural networks / G.E. Hinton, R.Salakhutdinov // Science. – 2006. – № 313. – С. 504–507.

8. Salakhutdinov R. Deep Boltzmann machines / R.Salakhutdinov, G.E. Hinton // Proceedings of The Twelfth International Conference on Artificial Intelligence and Statistics (AISTATS'09). – 2009. – № 5. – С. 448–455.

9. Salakhutdinov R. An efficient learning procedure for deep Boltzmann machine // R.Salakhutdinov, G.E. Hinton // Neural computation. – 2012. – № 24 (8). – С. 1967–2006.

10. Utgoff P. Many-layered learning / P.Utgoff, D.Stracuzzi // Neural Computation. –2002. – № 14. – С. 2497–2539.





DOI: https://doi.org/10.26642/tn-2016-3(78)-114-118

Copyright (c) 2016 Олена Іллівна Чумаченко, Геннадій Олександрович Сіпаков

Це видання ліцензовано за ліцензією Creative Commons Із Зазначенням Авторства - Некомерційна 4.0 Міжнародна.