This report presents the current state of affairs in the implementation of artificial intelligence hardware accelerators based on practically successful neural network algorithms of the first and second generations based on formal artificial neural networks (ANNs). The shortcomings of existing solutions are noted and ways to overcome them using analog neuromorphic architectures are outlined.
The latter are created on the principles of the structuring and functioning of a living nervous system, using artificial neurons and models of synaptic contacts - the so–called memristors, electrically rewritable nanoscale elements of non-volatile memory [1-3]. With the use of these elements, it is possible to significantly increase the performance and energy efficiency of algorithm accelerators based on the ANNs [4-6], as well as the formation of promising computing systems based on bioplausible 3rd generation neural network algorithms - Spiking Neural Networks (SNNs) [7-9].
The original method of substantiating the optimal rules for local tuning SNNs with frequency encoding and the possibility of their implementation in the form of the Spike-Timing-Dependent Plasicity (STDP) are discussed [10]. The results of SNN learning stability to a variability of analog memristors, as well as the use of noise as a constructive factor in the fine-tuning and maintenance of SNN memristive weights are demonstrated [7, 11].
Also, approaches to the implementation of local plasticity rules with dopamine-like modulation as a type of SNN reinforcement learning are discussed. The latter is necessary for the formation of imitative "needs" of an agent in the process of its autonomous functioning [12, 13, 14]. The first results on the creation of a prototype of a memristive implantable neuroprosthesis of the motor activity are considered [15, 16].
Finally, possible hardware solutions for both neuronal elements and synaptic connections based on suitable memristive devices are demonstrated. The concept and first results on the creation of an analog neuromorphic computing system based on the above components are presented.
Thus, an attempt is made to systematize the existing and original methods of implementing energy-efficient and compact analog neuromorphic computing systems for real-time and life-learning artificial intelligence.
В настоящем докладе представлено текущее состояние дел в реализации аппаратных ускорителей искусственного интеллекта на базе практически успешных нейросетевых алгоритмов первого и второго поколений на основе формальных нейронных сетей (ФНС), отмечаются недостатки существующих решений и намечаются пути их преодоления с использованием аналоговых нейроморфных архитектур.
Последние создаются на принципах строения и функционирования живой нервной системы, с использованием искусственных нейронов и моделей синаптических контактов – так называемых мемристоров, электрически перезаписываемых наноразмерных элементов энергонезависимой памяти [1-3]. С применением этих элементов возможно как существенное увеличение производительности и энергоэффективности ускорителей алгоритмов на базе ФНС [4-6], так и формирование перспективных вычислительных систем на основе биоподобных нейросетевых алгоритмов 3-го поколения – импульсных, или спайковых, нейронных сетей (СНС) [7-9].
Обсуждается оригинальный способ обоснования оптимальных правил локальной настройки синаптических связей СНС с частотным кодированием информации и возможность их реализации в виде правил ассоциативного обучения типа динамической пластичности, зависящей от временных интервалов между импульсами (STDP) [10]. Продемонстрированы результаты по исследованию устойчивости обучения СНС к вариабельности характеристик мемристоров как аналоговых элементов, а также использованию шума в качестве конструктивного фактора при обучении и удержании мемристивных весов импульсной сети [7, 11].
Также, обсуждаются подходы к реализации локальных правил дофаминоподобного обучения с подкреплением в СНС, которые необходимы для формирования аналога системы «потребностей» интеллектуального агента в процессе его автономного функционирования [12, 13, 14]. Рассмотрены первые результаты по созданию прототипа мемристивного имплантируемого устройства, нейропротезирующего двигательную активность животного [15, 16].
Наконец, демонстрируются возможные аппаратные решения как для нейрональных элементов, так и для синаптических связей на базе перспективных мемристивных устройств, подходящих для указанных типов локального обучения, представлены концепция и первые результаты по созданию аналогового нейроморфного процессора на базе вышеуказанных компонент.
Таким образом, дается попытка систематизации существующих и авторских оригинальных способов реализации энергоэффективных компактных аналоговых нейроморфных вычислительных систем искусственного интеллекта, функционирующих в режиме реального времени и (само-)обучаемых в течение всего срока службы устройства.