Ангара — высокоскоростная отказоустойчивая коммутируемая компьютерная сеть, используемая в высокопроизводительных вычислениях с большой пропускной способностью и низкой задержкой приёма/передачи пакетов. Используется в высокопроизводительных коммутаторах и для прямого соединения суперкомпьютерных вычислительных узлов[1]. Контроллеры Ангара (host bus adapter) и сетевые коммутаторы спроектированы и производятся в НИЦЭВТ[2][3], входящей в холдинг «Росэлектроника».
В качестве коммуникационной сети кластеров Ангара конкурирует со стандартами Ethernet и InfiniBand, а также проприетарными технологиями, например, компаний Cray и IBM. Производительность: 75 Гбит/c (7,5 ГБ/c)[4].
Описание
правитьВысокоскоростная отказоустойчивая коммуникационная сеть Ангара (серия ЕС843Х) имеет топологию «многомерный тор» и создана на базе российской СБИС. Сеть Ангара совместима с коммерчески доступными вычислительными платформами на базе процессоров с архитектурами х86, ARM и Эльбрус, а также с аппаратными ускорителями на основе GPU и FPGA.
Высокопроизводительная вычислительная платформа Ангара — базовый элемент для построения энергоэффективных масштабируемых вычислительных кластеров и суперкомпьютеров с высокой плотностью компоновки. Платформы серии ЕС1740.000х разработаны и серийно выпускаются на производственных мощностях АО «НИЦЭВТ». Технические и технологические решения, использованные при разработке платформы, обеспечивают высокую реальную производительность, надежность и отказоустойчивость вычислительной системы.
Ключевые особенности сети Ангара:
- Топология сети: 1D—4D-тор
- Адаптер на базе СБИС
- До 8 каналов связи с соседними узлами
- Прямой доступ в память удаленного узла (RDMA)
- Поддержка многоядерности
- Адаптивная передача пакетов
- Задержка на MPI ping-pong: 0,85/1,54 мкс (x86/Эльбрус-8С)
- Задержка на хоп: 130 нс
- Масштабирование: до 32 тысяч узлов
- Энергопотребление: до 20 Вт
- Различные физические среды передачи данных
Варианты исполнения:
- Высокопроизводительное решение на базе FHFL-адаптера и Samtec HDLSP кабеля
- Универсальное решение на базе 24-портового коммутатора, low-profile адаптера и CXP кабеля
- Заказное решение на базе объединительной платы и оптических кабелей
Характеристики СБИС ЕС8430:
- Техпроцесс TSMC 65 нм GP
- Размер кристалла 13×10,5 мм
- Кол-во транзисторов 180 млн
- Частота 500 МГц
- TDP 36 Вт
- Интерфейсы:
- GEN II PCI-E x16 (5,0 Гб/с на линию, 80 Гб/с на один коннект)
- Links x8 (1-12 линий/соединение 3,125—6,25 Гб/с на линию, макс. 75 Гб/с на соединение в каждом направлении, всего макс. 600 Гб/с)
- DDR3 SDRAM 8,5 ГБ/с (72 бит, 1066 MT/с)
- Электропитание:
- SerDes 1,0 В ± 5 %
- Core 1,0 В ± 5 %
- I/O 2,5 В ± 10 %
- Температурный диапазон 0—70 °C
- Корпус FCBGA-1521 размером 40×40 мм
Топология и соединения
правитьПоддерживаемые топологии: кольцо, 2D, 3D, 4D-top (решётка).
Применяются сетевые PCI-E 2.0 адаптер EC8430, ЕС8431, EC8432 и коммутаторы EC8433 c портами CXP, а также кабеля типа Samtec для физического соединения.
Производительность
правитьАнгара ЕС8430, EC8431, EC8432
История
правитьПервое поколение «Ангары» выпущено в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).[5]
В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.[6]
Применение
правитьОбъединённый институт высоких температур РАН:
- Суперкомпьютер «Десмос» из 32 гибридных (CPU + GPU) вычислительных узлов. Сеть Ангара в конфигурации 4D-тор 4х2х2х2. Общая производительность суперкомпьютера — 52,24 Тфлоп/с[7]
- Суперкомпьютер «Фишер»[8] из 24 вычислительных узлов. Узлы объединены коммуникационной сетью «Ангара» в коммутаторном исполнении. Пиковая производительность составляет 13,5 Тфлоп/с[9]
Научно-исследовательский центр электронной вычислительной техники[10]:
- Кластер «Ангара-К1» из 36 вычислительных узлов, которые объединены сетью Ангара с топологией 3D-тор 4×3×3. Пиковая производительность кластера — 6,998 Тфлоп/с[11]
Омский НИИ приборостроения и компания Промобит (BITBLAZE):
- Системы хранения данных на процессорах Эльбрус с использованием сети Ангара[12]
См. также
правитьПримечания
править- ↑ ПаВТ 2016: Высокоскоростная сеть «Ангара» для суперкомпьютеров и кластеров — сделано в России / ServerNews. Дата обращения: 21 сентября 2019. Архивировано 22 сентября 2019 года.
- ↑ Архивированная копия. Дата обращения: 22 сентября 2019. Архивировано 13 сентября 2019 года.
- ↑ Архивированная копия. Дата обращения: 21 сентября 2019. Архивировано из оригинала 16 сентября 2019 года.
- ↑ 1 2 3 http://2013.nscf.ru/TesisAll/Section%201/12_2761_SimonovAS_S1.pdf (недоступная ссылка) Архивировано 19 июля 2020 года.
- ↑ «Росэлектроника» начала поставки коммуникационных адаптеров «Ангара» — Рамблер/финансы
- ↑ В России разработали «систему для создания суперкомпьютеров в домашних условиях» — CNews. Дата обращения: 21 сентября 2019. Архивировано 2 сентября 2019 года.
- ↑ Top50 | Суперкомпьютеры. Дата обращения: 22 сентября 2019. Архивировано 22 сентября 2019 года.
- ↑ Ростех создал модульный суперкомпьютер «Фишер» для Российской академии наук. rostec.ru. Дата обращения: 14 марта 2024.
- ↑ НИЦЭВТ и «Скирус» создали модульный суперкомпьютер «Фишер» для Российской академии наук / ServerNews. Дата обращения: 22 сентября 2019. Архивировано 22 сентября 2019 года.
- ↑ Руководство пользователя кластера Ангара-К1. Дата обращения: 22 сентября 2019. Архивировано 16 сентября 2019 года.
- ↑ Архивированная копия. Дата обращения: 22 сентября 2019. Архивировано 22 сентября 2019 года.
- ↑ Максим КОПОСОВ, «Промобит»: «Российский „Эльбрус“ при более низкой тактовой частоте может достигать той же производительности, как процессор Intel при более высокой». Дата обращения: 24 октября 2020. Архивировано 22 октября 2020 года.