Psikhologicheskie Issledovaniya • ISSN 2075-7999
peer-reviewed • open access journal
      

 

Related Articles

Терехин А.Т., Будилова Е.В., Качалова Л.М., Карпенко М.П. Нейросетевое моделирование когнитивных функций мозга: обзор основных идей

English version: Terekhin A.T., Budilova E.V., Kachalova L.M., Karpenko M.P. Neural network modeling of brain cognitive functions: review of basic ideas
Московский государственный университет им. М.В.Ломоносова, Москва, Россия
Современная гуманитарная академия, Москва, Россия

 Сведения об авторах
Ссылка для цитирования


Дан обзор основных идей нейросетевого моделирования когнитивных функций мозга. Описан ряд моделей нейрона (пороговый нейрон Мак‑Каллока и Питтса, нейрон с сигмоидальной функцией активации, нейрон с немонотонной функцией активации, стохастический нейрон, импульсный нейрон) и ряд нейросетевых архитектур (перцептрон, сеть обратного распространения, сеть Хопфилда, машина Больцмана). Рассмотрены структурные модели, состоящие из нескольких нейронных сетей и моделирующие функции конкретных систем мозга (гиппокамп, гиппокамп – неокортекс, префронтальная кора – базальные ганглии). Обсуждаются общие проблемы моделирования когнитивных функций мозга.

Ключевые слова: нейросетевое моделирование, нейронная сеть, модель нейрона, перcептрон, сеть обратного распространения, машина Больцмана, когнитивные функции, мозг, гиппокамп, неокортекс, префронтальная кора, базальные ганглии


Полный текст статьи [PDF] >>

Введение
1 Модели нейрона
1.1 Пороговый нейрон Мак-Каллока и Питтса
1.2 Нейрон с сигмоидной функцией активации
1.3 Нейрон с немонотонной функцией активации
1.4 Стохастическая модель нейрона
1.5 Импульсная модель нейрона
2 Персептроны и сети обратного распространения
2.1 Персептроны
2.2 Сети обратного распространения ошибки
3 Сети Хопфилда
3.1 Пороговая функция активации
3.2 Сигмоидная функция активации
3.3 Машина Больцмана и моделированный отжиг
3.4 Запоминание последовательностей
4 Импульсные сети
4.1 Обучение
4.2 Стохастичность
4.3 Запоминание последовательностей
5 Структурные сетевые модели
5.1 Гиппокамп
5.2 Гиппокамп – неокортекс
5.3 Префронтальная кора – базальные ганглии
5.4 Основные принципы моделирования мозга
Обсуждение и перспективы исследований
Литература

Полный текст статьи [PDF] >>


Литература

Веденов А.А. Моделирование элементов мышления. М.: Наука, 1988. 159 с.

Виноградова О.С. Нейронаука конца второго тысячелетия: смена парадигм // Журнал высш. нервн. деятел. 2000. Т. 50. С. 743–774.

Дунин-Барковский В.Л., Терехин А.Т. Нейронные сети и нейрокомпьютеры: тенденции развития исследований и разработок // Микропроцеcсорные средства и системы. 1990. N 2. C. 12–14.

Мак-Каллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы: пер. с англ. / ред. К.Шеннон, Дж.Маккарти. М.: И.Л., 1956. С.  362–384. (Пер. изд.: McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in neurons activity // Bull. Math. Biophys. 1943. Vol. 5. P. 115–133.)

Минский М., Пейперт С. Перцептроны: пер. с англ. М.: Мир, 1971. 261 с. (Пер. изд.: Minsky M., Papert S. Perceptrons: An Introduction to Computational Geometry. Cambridge, MA: MIT Press, 1969.)

Розенблат Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга: пер. с англ. М.: Мир, 1965. 175 с. (Пер. изд.: Rosenblatt F. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Washington, D.C.: Spartan Books, 1962.)

Терехин А.Т., Будилова Е.В. Сетевые механизмы биологической регуляции // Успехи физиологических наук. 1995. Т. 26. N 4. С. 75–97.

Amari S. Learning patterns and pattern sequences by self-organiz­ing nets of threshold elements // IEEE Trans. Comput. 1972. Vol. 21. P. 1197–1206.

Amit D.J. Modeling brain function. The world of attractor neural networks. New York: Cambridge University Press, 1989.

Ans B., Rousset S. Avoiding catastrophic forgetting by coupling two reverberating neural networks // Comptes Rendus de l’Academie des Sciences – Series III – Sciences de la Vie. 1997. Vol. 320. P. 989–997.

Budilova E.V., Teriokhin A.T. A bibliographic data base on neural networks and neurocomputers // The RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers. Rostov-on-Don, 1992. New York: IEEE, 1992. Vol. 2. P. 1125–1126.

Deniau J.M., Chevalier G. Disinhibition as a basic processin the expression of striatal functions: II. The striato-nigral influenceon thalamocortical cells of the ventromedial thalamic nucleus // Brain Research, 1985. Vol. 334. P. 227–233.

Florian R.V. Biologically inspired neural networks for the control of embodied agents [Electronic resource] // Center for Cognitive and Neural Studies (Cluj-Napoca, Romania), Technical Report Coneural-03-03, 2003. URL: http://www.coneural.org (date of access: 11.11.2008).

Frank M.J., Loughry B., O'Reilly R.C. Interactions between the frontal cortex and basal ganglia in working memory: A computational model [Electronic resource] // Cognitive, Affective, and Behavioral Neuroscience. 2001. Vol. 1. P. 137–160. URL: http://psych.colorado.edu/oreilly/paprers/FrankLoughryOReilly014_fcbg.pdf (date of access: 11.11.2008).

French R.M. Pseudo-recurrent connectionist networks: An approach to the “sensitivity–stability” dilemma [Electronic resource] // Connection Science. 1997. Vol. 9, Issue 4. P. 353–379. URL: http://www.ulg.ac.be/cogsci/rfrench/psdnet.pdf (date of access: 11.11.2008).

French R.M. Selective memory loss in aphasics: An insight from pseudorecurrent connectionist networks. Connectionist representations [Electronic resource] // Proceedings of the Fourth Neural Computation and Psychology Workshop / ed. by J.Bullinaria, G.Houghton, D.Glasspool. Berlin: Springer-Verlag, 1997. P. 183–195. URL: http://www.ulg.ac.be/cogsci/rfrench/aphasics.pdf (date of access: 11.11.2008).

French R.M. Catastrophic forgetting in connectionist networks [Electronic resource] // Trends in Cognitive Sciences. 1999. Vol. 3, Issue 4. P. 128–135. URL: http://www.ulg.ac.be/cogsci/rfrench/TICS_cat_forget.pdf (date of access: 11.11.2008).

French R.M., Ans B., Rousset S. Pseudopatterns and dual-network memory models: Advantages and shortcomings [Electronic resource] // Connectionist Models of Learning, Development and Evolution / ed. by R.French, J.Sougné. London: Springer, 2001. P. 13–22. URL: http://www.ulg.ac.be/cogsci/rfrench/ncpw6_french_ans_rousset.pdf (date of access: 11.11.2008).

French R.M., Mareschal D. Could category-specific semantic deficits reflect differences in the distributions of features within a unified semantic memory? [Electronic resource] // Proceedings of the Twentieth Annual Cognitive Science Society Conference. NJ: LEA, 1998. P. 374–379. URL: http://www.ulg.ac.be/cogsci/rfrench/anomia_98.pdf (date of access: 11.11.2008).

Gerstner W. Time structure of the activity in neural network models [Electronic resource] // Phys. Rev. EVol. Vol. 1995. Vol. 51. P. 738–758. URL: http://diwww.epfl.ch/~gerstner/PUBLICATIONS/Gerstner95PRE.pdf (date of access: 11.11.2008).

Gerstner W. Spiking neurons // Pulsed neural networks / ed. by Maass W., Bishop С.М. Cambridge, MA: MIT Press, 1999. P. 3–53.

Gerstner W., Kempter R., van Hemmen J.L., Wagner H. A neuronal learning rule for sub-millisecond temporal coding [Electronic resource] // Nature. 1996. Vol. 383. P. 76–78. URL: http://diwww.epfl.ch/~gerstner/PUBLICATIONS/Nature96-text.pdf (date of access: 11.11.2008).

Gerstner W., Kistler W. M. Spiking neuron models: Single neurons, populations, plasticity [Electronic resource]. Cambridge, MA: Cambridge Univ. Press, 2002. URL: http://diwww.epfl.ch/~gerstner/BUCH.html (date of access: 11.11.2008).

Gerstner W., Ritz R., van Hemmen J.L. Why spikes? Hebbian learning and retrieval of time-resolved excitation patterns // Biol. Cybern. 1993. Vol. 69. P. 503–515.

Hasselmo M.E., Cannon R.C., Koene R. A simulation of parahippocampal and hippocampal structures guiding spatial navigation of a virtual rat in a virtual environment: A functional framework for theta theory // The Parahippocampal Region: Organization and Role in Cognitive Function / ed. by M.P.Witter, F.Wouterlood. London: Oxford Univ. Press, 2002.

Hasselmo M.E., McClelland J.L. Neural models of memory [Electronic resource] // Current Opinion in Neurobiology. 1999. Vol. 9. P. 184–188. URL: http://biomednet.com/elecref/0959438800900184 (date of access: 11.11.2008).

Hasselmo M.E., Wyble B.P. Simulation of the effects of scopolamine on free recall and recognition in a network model of the hippocampus // Behav. Brain Res. 1997. Vol. 89. P. 1–34.

Hasselmo M.E., Wyble B.P., Cannon R.C. From spike frequency to free recall: How neural circuits perform encoding and retrieval [Electronic resource] // The Cognitive Neuroscience of Memory: Encoding and Retrieval / ed. by A.Parker, T.J.Bussey, E.Wilding. London: Psychology Press, 2001. URL: http://people.bu.edu/hasselmo/BusseyChapterFinal.pdf (date of access: 11.11.2008).

Hebb D.O. The organization of behavior. A neuropsychlogical theory. New York: Wiley, 1949.

Herz A.V.M., Sulzer B., Kühn R., van Hemmen J.L. Hebbian learning reconsidered: Representation of static and dynamic objects in associative neural nets // Biol. Cybern. 1989. Vol. 60. P. 457–467.

Hinton G.E., Sejnowski T.J. Learning and relearning in Boltzman machines // Parallel Distributed Processing. Explorations in the Microstructure of Cognition. Cambridge, MA: MIT Press, 1986. Vol. 1. P. 282–317.

Hinton G.E., McClelland J.L. Learning representations by recirculation // Neural information processing systems / ed. by D.Z.Anderson. New York: American Institute of Physics, 1988. P. 358–366.

Hodgkin A.L., Huxley A.F. A quantitative description of membrane current and its application to conduction and excitation in nerve // Journal of Physiology. 1952. Vol. 117. P. 500–544.

Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities [Electronic resource] // Proc. Natl. Acad. Sci. USA. 1982. Vol. 79, Issue 8. P. 2554–2558. URL: http://www.pnas.org/cgi/reprint/79/8/2554 (date of access: 11.11.2008).

Hopfield J.J. Neurons with graded response have collective computational properties like those of two-stat neurons [Electronic resource] // Proc. Natl. Acad. Sci. USA. 1984. Vol. 81. P. 3088–3092. URL: http://www.pnas.org (date of access: 11.11.2008).

Izhikevich E.M. Simple model of spiking neurons [Electronic resource] // IEEE Transactions on Neural Networks. 2003. Vol. 14, Issue 6. P. 1569–1572. URL: http://www.nsi.edu/users/izhikevich/publications/spikes.htm (date of access: 11.11.2008).

Izhikevich E.M. Which model to use for cortical spiking neurons [Electronic resource] // IEEE Transactions on Neural Networks. 2003. Vol. 15. P. 1063–1070. URL: http://www.nsi.edu/users/izhikevich/publications/whichmod.htm (date of access: 11.11.2008).

Kirkpatrick S., Gelatt C.D., Vecchi M.P. Optimization by simulated annealing // Science. 1983. Vol. 220. P. 671–680.

Kleinfeld D. Sequential state generation by model neural networks [Electronic resource] // Proc. Nat. Acad. Sci. USA. 1986. Vol. 83. P. 9469–9473. URL: http://www.pnas.org (date of access: 11.11.2008).

Maass W.
Networks of spiking neurons: The third generation of neural network models [Electronic resource] // Neural Networks. 1997. Vol. 10, Issue 9. P. 1659-1671. URL: http://www.eccc.uni-trier.de/eccc (date of access: 11.11.2008).

Maass W., Natschläger T. Associative memory with networks of spiking neurons in temporal coding [Electronic resource] // Neuromorphic Systems: Engineering Silicon from Neurobiology / ed. by L.S.Smith, A.Hamilton. Amsrerdam: WorldScientific, 1998. P. 21–32. URL: http://www.cis.tugraz.at/igi/maass/psfiles/htc-ewns1.ps.gz (date of access: 11.11.2008).

Marian I., Reilly R.G., Mackey D. Efficient event-driven simulation of spiking neural networks [Electronic resource] // Proceedings of 3rd WSES International Conference on Neural Networks and Applications. Interlaken, Switzerland, February 2002. URL: http://cortex.cs.nuim.ie/papers/IM_RR_DM_EventDrivenSim.pdf (date of access: 11.11.2008).

Mattia M., Del Giudice P. Efficient event-driven simulation of large networks of spiking neurons and dynamical synapses [Electronic resource] // Neural Comp. 2000. Vol. 12. P. 2305–2329. URL: http://neural.iss.infn.it/Papers/asyncsimu.pdf (date of access: 11.11.2008).

McClelland J., McNaughton B., O’Reilly R. Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory [Electronic resource] // Psychological Review. 1995. Vol. 102. P. 419–457. URL: http://www.cnbc.cmu.edu/~jlm/papers/McCMcNaughtonOReilly95.pdf (date of access: 11.11.2008).

McCloskey M., Cohen N. Catastrophic interference in connectionist networks: The sequential learning problem // The Psychology of Learning and Motivation. 1989. Vol. 24. P. 109–165.

Morita M. Associative memory with nonmonotone dynamics [Electronic resource] // Neural Networks. 1993. Vol. 6. P. 115–126. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/ (date of access: 11.11.2008).

Morita M. Smooth recollection of a pattern sequence by nonmonotone analog neural networks // Proceedings of the IEEE International Conference on Neural Networks, Orlando, 1994. Vol. 2. P. 1032–1037.

Мorita M. Memory and learning of sequential patterns by nonmonotone neural networks [Electronic resource] // Neural Networks. 1996. Vol. 9, Issue 8. P. 1477–1489. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/mor1996a.pdf (date of access: 11.11.2008).

Morita M. Computational study on the neural mechanism of sequential pattern memory [Electronic resource] // Cognitive Brain Research. 1996. Vol. 5. P. 137–146. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/mor1996b.pdf (date of access: 11.11.2008).

Morita M., Murata K., Morokami S. Context-dependent sequential recall by a trajectory attractor network with selective desensitization [Electronic resource] // Proceedings of the Third International Conference on Neural Networks and Artificial Intelligence, Minsk. 2003. P. 235–238. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/ICNNAI2003.pdf (date of access: 11.11.2008).

O'Reilly R.C. Biologically plausible error-driven learning using local activation differences: The generalized recirculation algorithm [Electronic resource] // Neural Computation. 1996. Vol. 8. P. 895–938. URL: http://psych.colorado.edu/~oreilly/papers/OReilly98_6princip_tics.pdf (date of access: 11.11.2008).

O'Reilly R.C. Six principles for biologically-based computational models of cortical cognition [Electronic resource] // Trends in Cognitive Sciences. 1998. Vol. 2. P. 455–462. URL: http://psych.colorado.edu/~oreilly/papers/OReilly98_6princip_tics.pdf (date of access: 11.11.2008).

O'Reilly R.C., Frank M.J. Making working memory work: A computational model of learning in the frontal cortex and basal ganglia [Electronic resource] // Neural Computation. 2006. Vol. 18. P. 283–328. URL: http://www.u.arizona.edu/~mfrank/papers/OReillyFrank06.pdf (date of access: 11.11.2008).

O'Reilly R.C., Munakata Y. Computational neuroscience and cognitive modeling [Electronic resource] // Encyclopedia of Cognitive Sciences / ed. by L.Nadel. London: Macmillan, 2003. URL: http://psych.colorado.edu/~oreilly/papers/OReillyMunakata01_ecs_encyc.pdf (date of access: 11.11.2008).

Perrett D.I., Rolls E.T., Caan W.C. Visual neurons responsive to faces in the monkey temporal cortex // Experimental Brain Research. 1982. Vol. 47. P. 329–342.

Ratcliff R.
Connectionist models of recognition memory: Constraints imposed by learning and forgetting functions // Psychological Review. 1990. Vol. 97. P. 285–308.

Robins A. Catastrophic forgetting, rehearsal, and pseudorehearsal // Connection Science. 1995. Vol. 7. P. 123–146.

Robins A. Consolidation in neural networks and in the sleeping brain // Connection Science. 1996. Vol. 8. P. 259–275.

Robins A., McCallum S. Pseudorehearsal and the catastrophic forgetting solution in Hopfield type networks // Connection Science. 1998. Vol. 10. P. 121–135.

Rolls E.T., Tovee M.J. Processing speed in the cerebral cortex and the neurophysiology of visual backward masking // Proc. Roy. Soc. В. 1994. Vol. 257. P. 9–15.

Rumelhart D.E., Hinton G.E., Williams R.G. Learning representation by back-propagating error // Nature. 1986. Vol. 323, Issue 6088. P. 533–536.

Ruppin E. Evolutionary embodied agents: A neuroscience perspective [Electronic resource] // Nature Reviews Neuroscience. 2002. Vol. 3. P. 132–142. URL: http://www.cs.tau.ac.il/~ruppin/evol_age_rev.pdf (date of access: 11.11.2008).

Senn W., Schneider M., Ruf B.
Activity-dependent development of axonal and dendritic delays or, why synaptic transmission should be unreliable [Electronic resource] // Neural Comput. 2002. Vol. 14, Issue 3, 583–619. URL: http://www.cns.unibe.ch/publications/ftp/paper_DelayNECO.pdf (date of access: 11.11.2008).

Sommer F.T., Wennekers T. Associative memory in networks of spiking neurons [Electronic resource] // Neural networks. 2001. Vol. 14. P. 825–834. URL: https://redwood.berkeley.edu/fsommer/papers/sommerwennekers01.pdf (date of access: 11.11.2008).

Sompolinsky H., Kanter I. Temporal association in asymmetric neural networks // Phys. Rev. Lett., 1986. Vol. 57. P. 2861–2864.

Stickgold R. Sleep: off-line memory reprocessing // Trends in Cognitive Sciences. 1999. Vol. 2, Issue 12. P. 484–492.

Suemitsu A., Morita M. A model of memory formation in the pair-association task [Electronic resource] // Proceedings of the 2000 International Conference on Neural Information Processing, Taejon. 2000. Vol. 2. P. 915–919. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/ICONIP2000.pdf (date of access: 11.11.2008).

Sutherland G., McNaughton B. Memory trace reactivation in hippocampal and neocortical neuronal ensembles // Current Opinions in Neurobiology. 2000. Vol. 10. P. 180–186.

Thorpe S.T., Imbert M. Biological constraints on connectionist modelling // Connectionism in Perspective / ed. by R.Pfeifer, Z.Schreter, F.Fogelman-Soulie, L.Steels. North-Holland: Elsevier, 1989.

Williams R.J., Zipser D.
A learning algorithm for continually running fully recurrent neural networks [Electronic resource] // Neural Comput. 1989. Vol. 1. P. 270–280. URL: http://citeseer.ist.psu.edu/williams89learning.html (date of access: 11.11.2008).

Yoshizawa S., Morita M., Amari S. Capacity of associative memory using a nonmonotonic neuron model [Electronic resource] // Neural Networks. 1993. Vol. 6. P. 167–176. URL: http://volga.esys.tsukuba.ac.jp/~mor/paper/yoshi1993.html (date of access: 11.11.2008).

Дата публикации 19 апреля 2009 г.
Полный текст статьи PDF >>

Сведения об авторах

Терехин Анатолий Тимофеевич. Доктор биологических наук, профессор кафедры общей экологии, биологический факультет, Московский государственный университет им. М.В.Ломоносова, Ленинские горы, д. 1, стр. 12, 119991 Москва, Россия
Е-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Будилова Елена Вениаминовна. Кандидат технических наук, ст. научн. сотр. кафедры общей экологии, биологический факультет, Московский государственный университет им. М.В.Ломоносова, Ленинские горы, д. 1, стр. 12, 119991 Москва, Россия.
Е-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Качалова Лариса Андреевна. Кандидат биологических наук, директор Института когнитивной нейрологии, Современная гуманитарная академия, Нижегородская, д. 32, 109029 Москва, Россия.
Е-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Карпенко Михаил Петрович. Доктор технических наук, профессор, президент Современной гуманитарной академии; Современная гуманитарная академия, Нижегородская, д. 32, 109029 Москва, Россия.
Е-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.


Ссылка для цитирования

Терехин А.Т., Будилова Е.В., Качалова Л.М., Карпенко М.П. Нейросетевое моделирование когнитивных функций мозга: обзор основных идей [Электронный ресурс] // Психологические исследования: электрон. науч. журн. 2009. N 2(4). URL: http://psystudy.ru (дата обращения: чч.мм.гггг).

Полный текст статьи PDF >>
  К началу страницы >>