5.3.7 Нейроморфные системы типа I. Перспективы - История изменений

Andrey Fedichkin в 21:39, 8 мая 2025

2025-05-08T21:39:10Z

← Предыдущая версия		Версия от 21:39, 8 мая 2025
Строка 16:		Строка 16:

	При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры<ref>Мамаева О. (2018). Самую дорогую квартиру в Москве оценили в 7 млрд рублей / РБК, 19 сентября 2018 // https://realty.rbc.ru/news/5ba225279a7947b0b1ce8985</ref>. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро<ref>Human Brain Project, Framework Partnership Agreement // https://sos-ch-dk-2.exo.io/public-website-production/filer_public/0d/95/0d95ec21-276a-478d-a2a9-d0c5922fb83a/fpa_annex_1_part_b.pdf</ref>, что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов<ref>Defense Spending by Country: Total annual defense spending by nation (2020) / www.GlobalFirepower.com // https://www.globalfirepower.com/defense-spending-budget.asp</ref>. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project<ref>Cleared Initiatives (2019) / NIH: The BrainInitiative® // https://braininitiative.nih.gov/funding/cleared-initiatives</ref>, выглядит в подобном сравнении едва заметной букашкой.		При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры<ref>Мамаева О. (2018). Самую дорогую квартиру в Москве оценили в 7 млрд рублей / РБК, 19 сентября 2018 // https://realty.rbc.ru/news/5ba225279a7947b0b1ce8985</ref>. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро<ref>Human Brain Project, Framework Partnership Agreement // https://sos-ch-dk-2.exo.io/public-website-production/filer_public/0d/95/0d95ec21-276a-478d-a2a9-d0c5922fb83a/fpa_annex_1_part_b.pdf</ref>, что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов<ref>Defense Spending by Country: Total annual defense spending by nation (2020) / www.GlobalFirepower.com // https://www.globalfirepower.com/defense-spending-budget.asp</ref>. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project<ref>Cleared Initiatives (2019) / NIH: The BrainInitiative® // https://braininitiative.nih.gov/funding/cleared-initiatives</ref>, выглядит в подобном сравнении едва заметной букашкой.
			<references />
	<comments />		<comments />

Andrey Fedichkin в 19:42, 8 мая 2025

2025-05-08T19:42:19Z

← Предыдущая версия		Версия от 19:42, 8 мая 2025
Строка 16:		Строка 16:

	При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры<ref>Мамаева О. (2018). Самую дорогую квартиру в Москве оценили в 7 млрд рублей / РБК, 19 сентября 2018 // https://realty.rbc.ru/news/5ba225279a7947b0b1ce8985</ref>. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро<ref>Human Brain Project, Framework Partnership Agreement // https://sos-ch-dk-2.exo.io/public-website-production/filer_public/0d/95/0d95ec21-276a-478d-a2a9-d0c5922fb83a/fpa_annex_1_part_b.pdf</ref>, что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов<ref>Defense Spending by Country: Total annual defense spending by nation (2020) / www.GlobalFirepower.com // https://www.globalfirepower.com/defense-spending-budget.asp</ref>. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project<ref>Cleared Initiatives (2019) / NIH: The BrainInitiative® // https://braininitiative.nih.gov/funding/cleared-initiatives</ref>, выглядит в подобном сравнении едва заметной букашкой.		При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры<ref>Мамаева О. (2018). Самую дорогую квартиру в Москве оценили в 7 млрд рублей / РБК, 19 сентября 2018 // https://realty.rbc.ru/news/5ba225279a7947b0b1ce8985</ref>. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро<ref>Human Brain Project, Framework Partnership Agreement // https://sos-ch-dk-2.exo.io/public-website-production/filer_public/0d/95/0d95ec21-276a-478d-a2a9-d0c5922fb83a/fpa_annex_1_part_b.pdf</ref>, что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов<ref>Defense Spending by Country: Total annual defense spending by nation (2020) / www.GlobalFirepower.com // https://www.globalfirepower.com/defense-spending-budget.asp</ref>. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project<ref>Cleared Initiatives (2019) / NIH: The BrainInitiative® // https://braininitiative.nih.gov/funding/cleared-initiatives</ref>, выглядит в подобном сравнении едва заметной букашкой.
			<comments />

Andrey Fedichkin: Новая страница: « Одним из потенциальных преимуществ импульсных нейронных сетей является, по всей видимости, то, что они меньше подвержены так называемой проблеме катастрофической интерференции [catastrophic interference] или, к...»

2025-04-06T11:06:49Z

Новая страница: « Одним из потенциальных преимуществ импульсных нейронных сетей является, по всей видимости, то, что они меньше подвержены так называемой проблеме катастрофической интерференции [catastrophic interference] или, к...»

Новая страница

Одним из потенциальных преимуществ импульсных нейронных сетей является, по всей видимости, то, что они меньше подвержены так называемой проблеме катастрофической интерференции [catastrophic interference] или, как её ещё называют, проблеме катастрофического забывания [catastrophic forgetting]<ref>Vaila R., Chiasson J., Saxena V. (2019). Deep Convolutional Spiking Neural Networks for Image Classification // https://arxiv.org/abs/1903.12272</ref>.

Суть этой проблемы заключается в том, что искусственные нейронные сети, обученные на некоторой выборке, имеют склонность внезапно полностью забывать ранее изученную информацию при попытке «доучить» их на другой выборке, содержащей прецеденты, с точки зрения человека отличающиеся от прецедентов в оригинальной выборке. Это существенно осложняет перенос обучения (знаний) [transfer learning] между близкими областями и создаёт проблемы при дообучении моделей [fine-tuning, дословно — тонкая настройка]. Впрочем, для классических нейронных сетей в настоящее время существует несколько рабочих рецептов, предназначенных для борьбы с этой проблемой (мы поговорим о них позже).

Учитывая тот факт, что Генри Маркрам был основным идеологом Human Brain Project на его старте, было бы удивительно, если бы разработчики BrainScaleS не заложили бы в созданную ими аппаратную архитектуру, помимо краткосрочной синаптической пластичности, поддержку STDP. Причём прототип второй версии BrainScaleS позволяет реализовать принцип R-STDP, что делает возможным моделирование таких сложных явлений, как, например, формирование павловского условного рефлекса<ref>Wunderlich T., Kungl A. F., Müller E., Hartel A., Stradmann Y., Aamir S. A., Grübl A., Heimbrecht A., Schreiber K., Stöckel D., Pehle C., Billaudelle S., Kiene G., Mauch C., Schemmel J., Meier K., Petrovici M. A. (2019). Demonstrating Advantages of Neuromorphic Computation: A Pilot Study / Frontiers in Neuroscience: Neuromorphic Engineering, 26-Mar-2019 // https://doi.org/10.3389/fnins.2019.00260</ref>.

Вторая аппаратная линейка, разработанная в рамках Human Brain Project, носит название SpiNNaker. В отличие от BrainScaleS в основе SpiNNaker лежит многоядерная цифровая архитектура. Система состоит из 57 600 процессоров ARM9 (а именно ARM968), каждый из которых имеет 18 ядер и 128 Мб мобильной памяти DDR SDRAM, что в сумме даёт 1 036 800 ядер и более 7 Тб оперативной памяти.

Вся эта монструозная конструкция, потребляющая около 100 кВт, размещена в десяти 19-дюймовых стойках, каждая из которых содержит более 100 000 вычислительных ядер, а каждое ядро способно эмулировать работу 1000 нейронов. Конечной целью системы является моделирование в реальном времени импульсных нейронных сетей, содержащих до миллиарда нейронов<ref>SpiNNaker Project — Architectural Overview / The University of Manchester: APT Advanced Processor Technologies Research Group // http://apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture/</ref>, <ref>SpiNNaker Project — Boards and Machines / The University of Manchester: APT Advanced Processor Technologies Research Group // http://apt.cs.manchester.ac.uk/projects/SpiNNaker/hardware/</ref>.

В сентябре 2019 г. было принято решение о том, что новый грант в размере 8 млн евро для финансирования строительства машины SpiNNaker второго поколения (названной SpiNNcloud) получит Технический университет Дрездена (Technische Universität Dresden)<ref>Saxon Science Ministry delivers 8 Mio Euro to TU Dresden for second generation SpiNNaker machine (2019) / Human Brain Project // https://www.humanbrainproject.eu/en/follow-hbp/news/second-generation-spinnaker-neurorphic-supercomputer-to-be-built-at-tu-dresden/</ref>.

Полномасштабный SpiNNcloud будет состоять из десяти серверных стоек с пятью шасси, в каждом из которых будет установлено по 25 плат, на каждой из которых, в свою очередь, размещено по 56 процессоров. Каждый из процессоров модели SpiNNaker 2 содержит 144 ядра ARM A4F, выполненных по технологии 22-нм FDSOI. Итого SpiNNcloud будет содержать 10 080 000 вычислительных ядер. При этом каждое из этих новых ядер будет способно симулировать в пять раз больше нейронов, чем старое, что в итоге позволит полномасштабной системе в сборке симулировать в реальном времени работу биологических нейронных сетей, состоящих из приблизительно 50 млрд нейронов<ref>Mayr С., Höppner S., Furber S. (2019). SpiNNaker 2: A 10 Million Core Processor System for Brain Simulation and Machine Learning // https://arxiv.org/abs/1911.02385</ref>, <ref>Höppner S., Mayr C. (2018). SpiNNaker2 — Towards Extremely Efficient Digital Neuromorphics and Multi-scale Brain Emulation / NICE Workshop, 2018 // https://niceworkshop.org/wp-content/uploads/2018/05/2-27-SHoppner-SpiNNaker2.pdf</ref>. Напомним, что мозг человека содержит около 86 млрд нейронов.

При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры<ref>Мамаева О. (2018). Самую дорогую квартиру в Москве оценили в 7 млрд рублей / РБК, 19 сентября 2018 // https://realty.rbc.ru/news/5ba225279a7947b0b1ce8985</ref>. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро<ref>Human Brain Project, Framework Partnership Agreement // https://sos-ch-dk-2.exo.io/public-website-production/filer_public/0d/95/0d95ec21-276a-478d-a2a9-d0c5922fb83a/fpa_annex_1_part_b.pdf</ref>, что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов<ref>Defense Spending by Country: Total annual defense spending by nation (2020) / www.GlobalFirepower.com // https://www.globalfirepower.com/defense-spending-budget.asp</ref>. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project<ref>Cleared Initiatives (2019) / NIH: The BrainInitiative® // https://braininitiative.nih.gov/funding/cleared-initiatives</ref>, выглядит в подобном сравнении едва заметной букашкой.