ИССЛЕДОВАНИЕ АРХИТЕКТУРЫ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ

Землевский А.Д.

Email: Zemlevskiy630@scientifictext.ru

Землевский Андрей Дмитриевич – бакалавр техники и технологий, кафедра вычислительной техники, Тульский государственный университет, г. Тула

Аннотация: в статье анализируются архитектурные составляющие сверточных нейронных сетей, а также осуществляется выбор наиболее подходящей архитектуры для реализации на последовательных машинах. Уделено внимание схемам взаимодействия слоев, устройству блока классификатора и блока выделения признаков. Производится разделение сверточных нейронных сетей по типу комбинирования слоев на группы. Также приводятся основные факторы, которые следует учитывать при подборе архитектуры сверточной нейронной сети для задачи распознавания образов.

Ключевые слова: нейронные сети, сверточные нейронные сети, архитектура сверточных сетей, распознавание образов.

RESEARCH OF ARCHITECTURE CONVOLUTIONAL NEURAL NETWORKS FOR THE PROBLEM OF PATTERN RECOGNITION

Zemlevskiy A.D.

Zemlevskiy Andrey Dmitrievich – Bachelor of Engineering and Technology, COMPUTER ENGINEERING DEPARTMENT, TULA STATE UNIVERSITY, TULA

Abstract: the article analyzes the architectural components of convolutional neural networks, and also selects the most suitable architecture for implementation on serial machines. Attention is paid to the interaction schemes of layers, the device of the classifier block and the feature selection block. Separation of convolutional neural networks by the type of combining layers into groups is made. Also, the main factors that should be considered when selecting the architecture of a convolutional neural network for the problem of pattern recognition are given.

Keywords: neural networks, convolutional neural networks, the architecture of convolutional neural networks, pattern recognition.

Список литературы / References

Галушкин А.И. Нейрокомпьютеры для обработки изображений [Текст] / А.И. Галушкин, Н.С. Томашевич, Е.И. Рябцев // Нейрокомпьютеры в прикладных задачах обработки изображений. Кн. 25. 2007. С. 74–109.
Krizhevsky A. ImageNet classification with deep convolutional neural networks [Text] / A. Krizhevsky, I. Sutskever, G.E. Hinton // Advances in Neural Information Processing Systems 25, 2012. Р 1106-1114.
Bengio Y. Learning deep architectures for AI [Text] / Y. Bengio // Foundations and Trends in Machine Learning. Vol. 2. Issue 1, 2009. Pp. 1-127.
Bengio Y. Scaling learning algorithms towards AI [Text] / Y. Bengio, Y. LeCun // in Large Scale Kernel Machines, MIT Press, 2007.
Le Q. Tiled convolutional neural networks [Text] / Q. Le, J. Ngiam, Z. Chen, D. Chia, P. Koh, A.Y. Ng // NIPS, 2010.
Ranzato M.A. What is the best multi-stage architecture for object recognition? [Text] / M.A. Ranzato, K. Jarrett, K. Kavukcuoglu, Y. LeCun// In ICCV, 2009.
Соколов Е.Н. Нейроинтеллект: от нейрона к нейрокомпьютеру [Текст] / Е.Н. Соколов, Г.Г. Вайткявичюс // М.: Наука, 1989. 238 с.
Шевелёв И.А. Нейроны-детекторы зрительной коры [Текст] / И.А. Шевелёв // М.: Наука, 2010. 183 с.
Eysel U.T. Pharmacological studies on receptive field architecture [Text] / U.T. Eysel // N.Y.: Acad. Press, 2002. Р 427-470.
LeCun Y. Backpropagation applied to handwritten zip code recognition [Text] / Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard, L.D. Jackel // Neural Computation. Vol. 1, № 4, 1989. Pp. 541-551.
Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. [Текст] / С. Хайкин // М.: Издательский дом «Вильямс», 2008. 1104 с.: ил. Парал. тит. англ.
Гонсалес Р. Цифровая обработка изображений. Издание 3-е, исправленное и дополненное [Текст] / Р. Гонсалес, Р. Вудс // М.: Техносфера, 2012. 1104 с.
Kavukcuoglu K. Learning Feature Hierarchies for Object Recognition [Text] / K. Kavukcuoglu // PhD diss. New York University, January 2011.
Kavukcuoglu K. Learning invariant features through topographic filter maps [Text] / K. Kavukcuoglu, K. Ranzato, M. Fergus, Y. LeCun // In CVPR’09, IEEE, 2009.
Larochelle H. An empirical evaluation of deep architectures on problems with many factors of variation [Text] / H. Larochelle, D. Erhan, A. Courville, J. Bergstra, Y. Bengio // In Twenty-fourth International Conference on Machine Learning (ICML, 2007).
Neal R.M. Connectionist learning of belief networks [Text] / R.M. Neal // PhD thesis, Department of Computer Science. University of Toronto, 1994.
Ackley D.H. A learning algorithm for Boltzmann machines [Text] / D.H. Ackley, G.E. Hinton, T.J. Sejnowski // Cognitive Science. Vol. 9, 1985. Pp. 147-169.
Ranzato M. Unsupervised learning of invariant feature hierarchies with applications to object recognition [Text] / M. Ranzato, F. Huang, Y. Boureau, Y. LeCun // in Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR’07). IEEE Press, 2007.
Le Q. Building high-level features using large scale unsupervised learning [Text] / Q. Le, A. Ranzanto, R. Monga, M. Devin, G. Corrado, K. Chen, J. Dean // Acoustics, Speech and Signal Processing (ICASSP), 2013.
Farabet C. Hardware accelerated convolutional neural networks for synthetic vision systems [Text] / C. Farabet, B. Martini, P. Akselrod, S. Talay, Y. LeCun, E. Culurciello // In International Symposium in Circuits and Systems (ISCAS’10). IEEE. Paris, May 2010.
Ciresan D. Multicolumn Deep Neural Networks for Image Classification [Text] / D. Ciresan, U. Meier, J. Schmidhuber // In Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). CVPR '12. Pp. 3642-3649. Washington. DC. USA, 2012. IEEE Computer Society.
Червяков Н.И. Нейрокомпьютеры в остаточных классах. Кн. 11. [Текст] / Н.И. Червяков, П.А. Сахнюк, А.В. Шапошников, А.Н. Макоха // М.: Радиотехника, 2003. 272 с.: ил.

Ссылка для цитирования данной статьи

		Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства.
Электронная версия. Землевский А.Д. ИССЛЕДОВАНИЕ АРХИТЕКТУРЫ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ // Вестник науки и образования №6 (30), 2017. [Электронный ресурс]. URL: http://scientificjournal.ru/images/PDF/2017/VNO-30/issledovanie-arkhitektury.pdf (Дата обращения: ХХ.ХХ.201Х). Печатная версия. Землевский А.Д. ИССЛЕДОВАНИЕ АРХИТЕКТУРЫ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ // Вестник науки и образования №6 (30), 2017, C. {см. журнал}.