Применение методов с машинным обучением для управления сетевой вычислительной инфраструктурой

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

В статье рассмотрено применение методов машинного обучения для оптимального управления ресурсами сетевой вычислительной инфраструктурой – вычислительной инфраструктурой нового поколения. Рассмотрена связь между предлагаемой вычислительной инфраструктурой и концепцией GRID. Показано, как методы машинного обучения в управлении сетевой вычислительной инфраструктуре позволяют решить проблемы управления вычислительной инфраструктурой, которые не позволили реализовать концепцию GRID в полной мере. В качестве примера рассмотрено применение метода многоагентной оптимизации в комбинации с методом машинного обучения с подкреплением для управления сетевыми ресурсами. Показано, что использование многоагентных методов машинного обучения позволяет повысить скорость распределения транспортных потоков и обеспечить оптимальную загрузку сетевых каналов вычислительной инфраструктуры по критерию равномерности распределения нагрузки и что такое управление сетевыми ресурсами эффективнее централизованного подхода.

Полный текст

Доступ закрыт

Об авторах

Р. Л. Смелянский

Московский государственный университет им. М.В. Ломоносова

Автор, ответственный за переписку.
Email: smel@cs.msu.su

член-корреспондент, факультет Вычислительной математики и кибернетики, кафедра Автоматизации систем вычислительных комплексов

Россия, Москва

Е. П. Степанов

Московский государственный университет им. М.В. Ломоносова

Email: estepanov@lvk.cs.msu.ru

факультет Вычислительной математики и кибернетики, кафедра Автоматизации систем вычислительных комплексов

Россия, Москва

Список литературы

  1. Smeliansky R. Hierarchical edge computing // Int. Conf. Modern Network Tech., MoNeTec-2018. Moscow, 2018. P. 97–105.
  2. Smeliansky R. et al. On hpc & cloud environments integration. chapter 1 // Performance evaluation models for distributed service networks. Springer: Springer Nature Switzerland AG Gewerbestrasse 11, 6330 Cham, Switzerland, 2020.
  3. Smeliansky R. Network Powered by Computing: Next Generation of Computational Infrastructure // Edge Computing Technology, Management and Integration. IntechOpen, 2023. ISBN 978-1-83768-862-3. P. 47–70.
  4. Topology and Orchestration Specification for Cloud Applications.http://docs.oasis-open.org/tosca/TOSCA/v1.0/os/TOSCA-v1.0-os.html [Accessed: 2024-19-03]
  5. https://www.itprotoday.com/serverless-computing/what-serverless-computing (accessed: March 19, 2024).
  6. Foster I., Kesselman C. The Grid 2: Blueprint for a new computing infrastructure. Elsevier, 2003.
  7. Foster I., Kesselman. C. The history of the grid //arXiv:2204.04312, 2022.
  8. https://www.cpubenchmark.net/year-on-year.html (accessed: March 19, 2024).
  9. https://www.visualcapitalist.com/cp/charted-history-exponential-growth-in-ai-computation/ (accessed: March 19, 2024).
  10. https://habr.com/ru/companies/yota/articles/283220/ (accessed: March 19, 2024).
  11. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978. 352 с.
  12. Karimireddy S.P. et al. Scaffold: Stochastic controlled averaging for federated learning. International conference on machine learning. PMLR, 2020.
  13. Vogels T., Karimireddy SP., Jaggi M. PowerSGD: Practical low-rank gradient compression for distributed optimization // Advances in Neural Information Processing Systems. 2019.
  14. Oseledets I., Tyrtyshnikov E. TT-cross approximation for multidimensional arrays // Linear Algebra and its Applications. 2010. Т. 432. № 1. P. 70–88.
  15. Gusak J. et al. Automated multi-stage compression of neural networks // Proceedings of the IEEE/CVF Int. Conf. on Computer Vision Workshops, 2019.
  16. Novikov A. et al. Tensorizing neural networks // Advances in neural information processing systems. 2015. N 28.
  17. Gong Y. et al. ETTE: Efficient tensor-train-based computing engine for deep neural networks // Proceedings of the 50th Ann. Int. Symp. on Computer Architecture. 2023. P. 1–13.
  18. Смелянский Р.Л., Антоненко В.А. Концепции программного управления и виртуализации сетевых сервисов в современных сетях передачи данных. М.: Курс, 2019. 160 с.
  19. Bernardez G. et al. Is machine learning ready for traffic engineering optimization? // 2021 IEEE29th International Conference on Network Protocols (ICNP). IEEE, 2021.
  20. You Xinyu et al. Toward packet routing with fully distributed multiagent deep reinforcement learning. // IEEE Transactions on Systems, Man, and Cybernetics: Systems 52.2 (2020): 855–868.
  21. Mai Xuan, Quanzhi Fu and Yi Chen. Packet routing with graph attention multi-agent reinforcement learning // 2021 IEEE Global Communications Conference (GLOBECOM). IEEE, 2021.
  22. Stepanov E. et al. On Fair Traffic allocation and Efficient Utilization of Network Resources based on MARL // Preliminary on ResearchGate. Available from: https://www.researchgate.net/publication/371166584_On_Fair_Traffic_allocation_and_Efficient_Utilization_of_Network_Resources_based_on_MARL (accessed: November 14, 2023).
  23. ECMP Load Balancing. Available from: https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/mp_l3_vpns/configuration/xe-3s/asr903/mp-l3-vpns-xe-3s-asr903-book/mp-l3-vpns-xe-3s-asr903-book_chapter_0100.pdf (accessed: November 14, 2023).
  24. UCMP Load Balancing. Available from: https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/mp_l3_vpns/configuration/xe-3s/asr903/17-1-1/b-mpls-l3-vpns-xe-17-1-asr900/m-ucmp.pdf (accessed: November 14, 2023).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Функциональная архитектура NPC.

Скачать (64KB)
Метаданные
3. Рис. 2. Схема работы MAROH.

Скачать (76KB)
Метаданные
4. Рис. 3. Топология сети агентов NPCR в сравнительном анализе.

Скачать (13KB)
Метаданные
5. Рис. 4. Сравнение эффективности работы MAROH с ECMP, UCMP и централизованным подходом.

Скачать (12KB)
Метаданные

© Российская академия наук, 2024