Изменения обработки отказов СХД в vSphere 5.1

В vSphere были добавлены два типа отказов СХД, обрабатываемых гипервизором – APD (All Paths Down) в случае выхода временного пропадания всех путей до LUN, и PDL (Permanent Device Lost) – когда LUN считается потерянным безвозвратно.

С версии 5.0 гипервизор научился отличать PDL от APD, так как в первом случае СХД отправляет инициатору соответствующие SCSI команды о том, что LUN удалён и данные с него соотв. недоступны. Таким образом, vmkernel знает, что IO запросы к данному LUN можно сразу отбрасывать, а не ждать ответа (что в конечном итоге могло привести к зависанию корневого процесса hostd).

В vSphere 5.1 представлены новые параметры для управления поведением гипервизора при потере доступа к хранилищу данных. Опция Misc.APDHandlingEnable указывает механизм обработки какой версии 5.0 (0) или 5.1 (1) необходимо использовать, и количество попыток передачи IO к массиву.

В случае использования нового механизма операции ввода-вывода будут отбрасываться со статусом NO_CONNECT через 140 секунд после того как ESXi обнаружит что массив не доступен. Изменять этот таймаут позволяет опция Misc.APDTimeout. Как только один из путей к массиву будет восстановлен – ESXi продолжит передавать данные.

Некоторые массивы используют схему 1 target – 1 LUN. Если на таком массиве удалить LUN, то массив не будет возвращать SCSI команды о том, что LUN не доступен. С версии 5.1 гипервизор способен проанализировать ответ массива и определить, что СХД сбрасывает попытки подключения именно по причине недоступности целевого target, после чего присваивает ему состояние PDL и прекращает попытки подключения.

А что делает VMware, кроме Workstation?

Часто, очень часто на форумах задают вопрос типа "а как в VMware можно?". В 85% случаев имеется в виду Workstation, в оставшихся 15 - Server. Но VMware делает помимо Workstation и Server еще целую кучу продуктов.

Решил написать краткий обзор, а что же есть еще?

Прежде всего, это платформы виртуализации.

• VMware Server - бесплатная серверная платформа, гипервизор 2го типа (Win + Lin). 

vSphere (в прошлом Virtual Infrastructure) – это общее имя продуктов серверной виртуализации от VMware.

• ESX / ESXi (VMware Hypervisor) - гипервизор первого типа, с версии 5.0 доступен только ESXi
• VMware Go Pro – веб-сервис для упрощенной установки и управления ESXi в малых инфраструктурых
• vSphere Storage Appliance – виртуальная СХД для vSphere, использующая локальные диски хостов vSphere

Практически все остальные продукты направлены на обслуживание vSphere и добавляют различный функционал к ней.
Семейство vCenter

• vCenter Server - сервер централизованного управления ESX/ESXi серверами и виртуальными машинами
• vCenter Orchestrator - средство для автоматизации на основе workflow, позволяетделать интерфейсы самообслуживания для сотрудников, у которых нет прямого доступа к vSphere
• Update Manager - централизованный патчинг серверов ESX/ESXi 
• vCenter Converter – конвертер виртуальных машин, средство миграции физических машин в среду vSphere
• Data Recovery – виртуальный модуль для резервного копирования ВМ, предназначен для малых инфраструктур. С версии vSphere 5.1 заменен на
• Data Protection - виртуальный модуль для резервного копирования ВМ, предназначен для малых инфраструктур. На базе EMC Avamar
• Auto Deploy – ESXi теперь может быть совсем бездисковым и загружаться по PXE
• Cisco Nexus 1000v – виртуальный сетевой коммутатор от Cisco, расширяющий сетевые возможности vSphere
  
• vCenter Server HeartBeat – кластерное решение для vCenter Server, лицензированная технология от Neverfail
• vCenter Operations Manager – решение для анализа, визуализации и мониторинга инфраструктуры 
• vCenter Operations Manager for View -  решение для анализа, визуализации и мониторинга инфраструктуры виртуальных рабочих столов
• vCenter Lab Manager – продукт для компаний-разработчиков ПО. Направленность - управление гигантским количеством снапшотов для отладки и тестирования. Увы, жизненный цикл его подошел к концу.
• vCenter Application Discovery Manager – исследование инфраструктуры на предмет приложений и сервисов, построение зависимостей сервисов друг от друга
• vCenter Site Recovery Manager – автоматизирует восстановление инфраструктуры при катастрофах (полная недоступность ЦОД)
• vCenter Chargeback Manager - биллинг виртуальной инфраструктуры
• vCenter AppSpeed - контроль за работой приложений и соблюдением SLA на vSphere. К сожалению, данный продукт уже устарел. Заменой является vFabric Application Performance Manager.
• vCenter CapacityIQ - контроль мощностей инфраструктуры, анализ и предсказание роста потребления ресурсов. Интегрирован в Operations Manager, и более недоступен как отдельный продукт
• vCenter Configuration Manager – мощное средство управления конфигурациями ВМ, физических серверов и десктопов 
• vCenter Infrastructure Navigator - компонент Operations Manager отвечающий за автоматическое обнаружение сервисов, построения карт зависимостей и построения карты инфраструктуры
• vCenter Protect - централизованный патчинг операционных систем виртуальных машин и антивирус
• VMware vCenter Protect Update Catalog - расширение возможностей MS SCCM по установке обновлений для приложений.

Семейство vCloud

• vCloud Director – превращаем виртуализованный датацентр в облачный, в том числе и для создания публичного IaaS облака
• vCloud Request Manager – автоматизированное управление заявками на развертывание новых сервисов или изменение существующих в vCloud. Увы, данный продукт больше не поддерживается и не доступен для использования.
• vCloud Express – готовые публичные облака на базе VMware vCloud – подключайтесь и пользуйтесь!

Любите управлять инфраструктурой при помощи скриптов и командной строки?

• vSphere PowerCLI - управление vSphere из командной строки при помощи PowerShell
• vSphere CLI - управление vSphere из командной строки
• vSphere Management Assistant - модуль (appliance) для хостинга скриптов и агентов
• Project Onyx - генерация кода для захваченных действий в vSphere Client

Семейство продуктов vCloud Networking and Security (до версии 5.1 - данное семейство носило имя vShield) для обеспечения безопасности виртуальной инфраструктуры:

• App - сетевая защита приложений в виртуальной инфраструктуре
• Data Security – система класса DLP (Data Leakage Prevention) на базе технологий RSA
• Edge - пограничый шлюз для виртуальной инфраструктуры
• vShield Endpoint - антивирусная защита виртуальной инфраструктуры.
• vShield Zones - базовая сетевая защита виртуальной инфраструктуры (включена в лицензию vSphere). 

Что VMware предлагает для клиентских устройств и конечных пользователей?

• VMware View - VDI платформа от VMware
• VMware ThinApp - виртуализация приложений
• Workstation / Player – легендарная десктопная платформа для PC (Win + Lin), гипервизор второго типа
• ACE (Assured Computing Environment) - средство создания доверенных ВМ в непроверенном окружении. Увы, данный продукт уже не поддерживается.
• Fusion – запускаем Windows в виртуальной машине на Apple MacOS X
• VMware Horizon Application Manager – управление облачными SaaS приложениями
• VMware MVP (Mobile Virtualization Platform) - средство управления корпоративными мобильными устройствами 
• Mirage - управление физическиими устройств (ПК, ноутбуки и т.д.)
• VMware Zimbra - платформа коллективной работы, аналог Microsoft Exchange 
• Socialcast by VMware - корпоративная социальная сеть
• SlideRocket - сервис по публикации медиа презентаций.

Дополнительные инструменты

• Service Manager - система управления IT согласно ITSM (End of Life)
• IT Business Management Suite - комплексная система управления IT
• VMware Capacity Planner - средство исследования загрузки ресурсов в гетерогенных средах (доступно только для партнеров)
• Compliance Checker for PCI - средство для проверки серверов на соответствие PCI DSS 
• Compliance Checker for vSphere - средство для проверки серверов на соответствие vSphere Hardering Guide
• Open Virtualization Format Tool - средство для создания ВМ в формате OVF
• VMware Studio - средство для создания виртуальных модулей (Virtual Appliance)
• VMware VMmark - бенчмарк для виртуальной инфраструктуры
• SUSE Linux Enterprise Server for VMware - бесплатная версия Linux для всех клиентов VMware.

Платформа облачных приложений – семейство vFabric

• vFabric Enterprise Ready Server – готовый и преднастроенный сервер Apache, используемый как вебсервер и балансировщик нагрузки при разворачивании vFabric
• vFabric Hyperic – средство мониторинга и анализа производительности веб-приложений
• vFabric GemFire – параллельная база данных для высоконагруженных веб-приложений
• vFabric RabbitMQ – высокоэффективная очередь сообщений
• vFabric tc Server – оптимизированный мощный сервер tomcat
• vFabric WebServer - сервер Apache, используемый как вебсервер и балансировщик нагрузки при разворачивании vFabric
• vFabric SQLFire – высокопроизводительная база данных “в памяти”
• vFabric Data Director – сервис самообслуживания для быстрого разворачивания и управлениями базами данных
• vFabric Application Director - сервис самообслуживания для быстрого разворачивания и управлениями виртуальными машинами и сервисов в них
• vFabric Application Performance Manager - контроль за работой приложений и соблюдением SLA на vSphere
• vFabric Hyperic - мониторинг производительности сервисов, ОС, оборудования
• vFabric Postgres - высокопроизводительная база данных на базе Postgres.

vRAM & vSphere 5.0

Вопрос: нужно ли обновляться до vSphere 5.1, чтобы избавиться от лицензирования по vRAM?

Ответ: нет, лицензирование по vRAM отменено как для 5.1, так и для 5.0. Обновляться можно в любой момент, который будет удобен вам.

Анонсы с VMworld 2012: vVol, vSAN, vFlash

На недавно прошедшей в Сан-Франциско конференции VMWorld были анонсированы интересные технологии в области работы с СХД, точнее с vStorage, которые VMware собирается представить в ближайшее время: Virtual Volumes (vVols), Virtual SAN (vSAN) и Virtual Flash (vFlash?). Итак, что это за названия и в каком направлении движется VMware?

Virtual Volumes или vVols

Принципы работы с SAN и NAS массивами были заложены десятки лет назад: взять кучу дисков, равномерно распределить данные между ними во избежание возможных проблем при выходе одного из дисков из строя, объединить их логические единицы и предоставить серверам. Сегодня принцип практически тот же: у вас есть LUN или «шара», куда сохраняются виртуальные диски.

Задайте себе вопрос: оптимальное ли это решение? Что если вы хотите реплицировать ВМ? Тогда вам нужно реплицировать весь LUN. Выхода из данной ситуации два: создать LUN достаточный чтобы положить туда нужное количество ВМ и реплицировать их все сразу, или создать под каждую ВМ один LUN и, таким образом, получить требуемую частоту репликации. Оптимального решения нет. Или всё таки есть? Идеально иметь одну точку для подключения всех ВМ, и уйти от идеи с LUN или разграничением доступа (share).

Лучшие сертификации и навыки в ИТ.

Недавно наткнулся на статью Randy Muller (Global Knowledge Instructor, MCT, MCSE, MCSA, MCDST) - 15 Top Paying IT Certifications for 2012.
И она заставила меня задуматься. Как человек, который регулярно ищет сотрудников, нанимает их, а также менторит, я решил подкинуть дровишек в костер обсуждений “Какой сертификат дает большую зарплату” по мотивам обращений ко мне рекрутеров (внешние или внутренние) за кандидатами. Попробую разбить статью на части, но непосредственно в деньги углубляться, пожалуй, не буду.
Disclaimer: Вы можете решить, что это вендорский перекос в большом выборе сертификаций, но поверьте, это не только МОИ слова. Это слова бесчисленного количества нанимающих менеджеров в индустрии. И поверьте, если у вас будут эти сертификаты, то ваш аккаунт в LinkedIn просто взорвется от количества возможностей и вакансий. Не шутка.

Лучшие сертификаты для начально-среднего уровня

• MCP (Microsoft Certified Professional)
• CCENT (Cisco Certified Entry Networking Technician)
• VCP (VMware Certified Professional)
• A+, Network+, Security+ (Ладно, на самом деле ЛЮБОЙ сертификат CompTIA)
• EMCISM (EMC Information Storage and Management)

Если вы только начинаете свою карьеру в ИТ, то в зависимости от вашей специализации, эти сертификации помогут вам выстроить как доверие к вам, так и ваш набор навыков, безусловно требуемый для движения вверх. Большинство из них недостаточно “продуктовые”, но тем не менее, они предоставляют достаточный базовый “административный” уровень в Microsoft, сетевых технологиях, виртуализации VMware и т.д. И да, если имеете достаточные навыки, но не имеете сертификата – ситуация ничуть не хуже. За одним исключением – придется доказывать свои навыки на каждом собеседовании. Поэтому просто идите и сдайте тест.

Комбинирование разных типов affinity rules

Недавно заказчик спросил меня можно ли комбинировать affinity rules типа VM-host и VM-VM anti-affinity rules, какое влияние это окажет на систему и какие минусы такого решения.

Пример сценария
В данном примере две ВМ являют собой одно приложение, кластеризованное на уровне  приложения. ВМ 1 и 2 предоставляют сервис для  App-cluster1, точно также настроены  App-cluster2 и App-cluster3. Вычислительный кластер состоит из 6 хостов. Требование заказчика состоит в том, чтобы каждое кластеризованное приложение работало на собственных физическах серверах. Также разные приложения не должны размещаться на одном физическом сервере за исключением ситуаций обслуживания серверов. Виртуальные машины одного кластера приложений не могут работать на одном сервере.

Построение кластеров. Clouds NN 2012

23-24 августа я выступал на Clouds NN 2012 с темой "Как строить геораспределенные облака". Получилась, на мой взгляд, отличная презентация на тему видов кластеров.

* Для управления необходимо кликать по слайду, или жать пробел - слайды с анимацией.

Польза правильного сайзинга ВМ

Я думаю, что описываемый случай является хорошим примером правильного (под данным понятием я подразумеваю достаточного, а не избыточного) выделения ресурсов виртуальной машине.

В кластере с большим количеством ВМ с избыточным уровнем переподиски также развёрнут сервер с 4 ЦПУ на котором работает БД на SQL.

На графике ниже видно, что до 24 июля среднее значение метрики CPU Ready было около 10%, а 24 числа резко скакнуло выше 30%. То есть, 30% времени виртуальная машина ждала, когда на физическом ЦПУ будут доступны ресурсы для выполнения. Приложение, работающее с данной БД испытывало серьёзные проблемы с производительностью из-за этого.

В тот же день количество vCPU было снижено с 4 до 2, и результат очевиден. Значение CPU Ready упало примерно до 1%, и оставалось на том же уровне и дальше. При этом производительность всех приложений, использующих данный БД, в том числе и vCenter Server, серьёзно выросла.

 

Правильное (достаточное) выделение ресурсов улучшает производительность не только данной ВМ, но и снижает уровень борьбы за ресурсы на всём кластере, что влияет на производительность всех ВМ.

Также важно отметить, что это урезаны ресурсы были только у одной машины, и чем больше ВМ будет отрегулировано в кластере, тем меньше будет значение CPU Ready, а производительность будет расти. Снижение нагрузки на кластер также позволяет увеличить значение консолидации ресурсов без снижения доступности или производительности.

Отдельно хотелось бы отметить, что лично я считаю, что данная ВМ могла бы использовать все преимущества и от 4 vCPU, но не в кластере с таким высоким уровнем борьбы за ресурсы.

Теперь вы верите в правильный сайзинг ВМ?