SOFTWARE COMPLEX FOR INTELLIGENT SCHEDULING AND ADAPTIVE SELF-ORGANIZATION OF VIRTUAL COMPUTING RESOURCES BASED IN LIT JINR CLOUD CENTER

В Лаборатории информационных технологий Объединенного института ядерных исследований (ЛИТ ОИЯИ) несколько лет назад была развернута и по сей день успешно функционирующая облачная инфраструктура, построенная по модели Инфраструктура как услуга (Infrastructure as a Service, IaaS) на платформе с открытым исходным кодом OpenNebula. Детальный анализ накопленного на протяжении нескольких лет опыта использования и управления облачной инфраструктурой позволил выявить в ее работе некоторые слабые места. Наиболее актуальной проблемой на сегодняшний день является неэффективное использование имеющихся в облаке ресурсов являющееся следствием использования облачных ресурсов для решения большого количества разнородных задач и используемых программных средств. По результатам анализа, проведенного группой специалистов ЛИТ ОИЯИ, была показана необходимость оптимизации облачной инфраструктуры ОИЯИ. В качестве решения данной проблемы был предложен метод интеллектуального диспетчирования ресурсов. В статье приведен подробный анализ комплекса проблем, приводящих к неэффективному использованию вычислительных ресурсов. В качестве решения описанных проблем представлен метод интеллектуального диспетчирования ресурсов, который позволит высвободить некоторое количество ресурсов за счет динамического перераспределения и уплотнения пользовательских виртуальных ресурсов. Использование технологий уплотнения виртуальных ресурсов неизбежно ведет к снижению качества обслуживания, для контроля которого предлагается использование системы ранжирования вычислительных ресурсов, которая позволит поддерживать качество обслуживания пользователей на заданном уровне. Высвобожденные в результате применения предлагаемого метода ресурсы в целях повышения эффективности могут быть повторно использованы. В статье предложено несколько стратегий повторного использования высвобожденных ресурсов, в том числе за счет интеграции с системами пакетной обработки заданий. Следование данным стратегиям позволит существенно повысить эффективность использования ресурсов, составляющих облачную инфраструктуру. Также рассмотрен программный комплекс интеллектуального диспетчирования с открытым исходным кодом и модульной архитектурой, разрабатываемый на основе предложенных методов и стратегий. Облачные вычисления; виртуализация; оптимизация; интеллектуальное управление; ЦОД; консолидация ВМ.

[1]  Pasi Liljeberg,et al.  LiRCUP: Linear Regression Based CPU Usage Prediction Algorithm for Live Migration of Virtual Machines in Data Centers , 2013, 2013 39th Euromicro Conference on Software Engineering and Advanced Applications.

[2]  Adam Barker,et al.  Cloud cover: monitoring large-scale clouds with Varanus , 2015, Journal of Cloud Computing.

[3]  Christine Morin,et al.  Snooze: A Scalable and Autonomic Virtual Machine Management Framework for Private Clouds , 2012, 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012).

[4]  Michela Meo,et al.  Probabilistic Consolidation of Virtual Machines in Self-Organizing Cloud Data Centers , 2013, IEEE Transactions on Cloud Computing.

[5]  Federico Stagni,et al.  LHCb experience with running jobs in virtual machines , 2015 .

[6]  Christine Morin,et al.  Energy-Aware Ant Colony Based Workload Placement in Clouds , 2011, 2011 IEEE/ACM 12th International Conference on Grid Computing.

[7]  Rajkumar Buyya,et al.  OpenStack Neat: a framework for dynamic and energy‐efficient consolidation of virtual machines in OpenStack clouds , 2015, Concurr. Comput. Pract. Exp..

[8]  Norman W. Paton,et al.  Optimizing virtual machine placement for energy and SLA in clouds using utility functions , 2016, Journal of Cloud Computing.

[9]  Laurent Lefèvre,et al.  When Clouds become Green: the Green Open Cloud Architecture , 2009, PARCO.

[10]  Navendu Jain,et al.  Managing cost, performance, and reliability tradeoffs for energy-aware server provisioning , 2011, 2011 Proceedings IEEE INFOCOM.

[11]  Rajkumar Buyya,et al.  Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in Cloud data centers , 2012, Concurr. Comput. Pract. Exp..

[12]  Adam Barker,et al.  Observing the clouds: a survey and taxonomy of cloud monitoring , 2014, Journal of Cloud Computing.

[13]  Seo-Young Noh,et al.  Cloud Services for the Fermilab Scientific Stakeholders , 2015 .

[14]  Helge Meinhard Virtualization, clouds and IaaS at CERN , 2012, VTDC '12.

[15]  Rashedur M. Rahman,et al.  VM consolidation approach based on heuristics, fuzzy logic, and migration control , 2016, Journal of Cloud Computing.

[16]  A. McNab,et al.  Managing virtual machines with Vac and Vcycle , 2015 .