X4500 ZFS и характеристики производительности iSCSI

Тесты скорости могут быть полезны по разному. Они особенно эффективны когда хочется проверить архитектурный дизайн. В данном случае имеем SUN X4500 как таргет iSCSI и сервер VMware ESX 3.5 с инициатором QLA4050c. Этот тест не является измерением максимальных возможностей архитектуры X4500 или других компонент, это проверка что вся система работает как и ожидается в контексте текущей конфигурации. В этой конфигурации есть несколько компонент с ожидаемыми ограничениями, как например сетевой коммутатор и его степень буферизации и контроля потока. Так же необходимо понимать что любая конфигурация iSCSI будет иметь характерную точку схлопывания и как следствие задержки в моменты пикового насыщения пакетами. В данной архитектуре мы можем ожидать некоторые специфичные ограничения, такие как эффективность использования 60% канала сетевого контроллера 1Gb до того как проблемы задержек станут ощутимыми. Дополнительно, при использовании дисков с интерфейсом SATA можно ожидать что большое количество мелких операций ввода-вывода приведёт к менее эффективным характеристикам производительности в случае когда такое поведение продолжительно или проявляется слишком часто.

Детали дизайна представлены в этой записи (англ.) http://blog.laspina.ca/ubiquitous/running_zfs_over_iscsi_as 

Для этой архитектуры становится важным учитывать что соотношение цена-качество очень привлекательны для данного дизайна. Комбинированные компоненты этой системы работают очень хорошо в данном контексте и полученные возможности становятся приятным сюрпризом. Если взглянуть на производительность этого дизайна то видно элементы которые избежали привычного поведения некоторых вовлечённых под-компонент. С текущими ограниченными параметрами мы должны были ожидать падение производительности в большем количестве вариантов применения, но этого не произошло. Есть несколько причин такого результата и ZFS это важный фактор внутри системы, так как она выполняет блоки функций транзакционной записи которые комплиментарны поведению интерфейса SATA. Интерфейсы SATA хорошо работают с большими сегментами передачи нежели с небольшими короткими операциями передачи и таким образом ZFS оптимизирует производительность на массивах дисков SATA. Другой фактор это слой виртуализации на узлах VMware который объединяет множество мелких операций ввода-вывода и выполняет большие запросы чтения-записи, имея такую оптимизацию мы можем использовать файлы vmdk при выделении устройств виртуальных дисков.

На первом графике мы видим результаты локального запуска команды «dd» собранные iostat со следующими параметрами:

dd if=/dev/zero of=/rp1/iscsi/iotest count=1024k bs=64k

iostat -x 15 13

(для графика использовались только 12 последних значений)

График показывает отличную скорость записи на RAID-Z из 36 дисков на уровне 600МБ/с за период времени продолжительностью 3 минуты.

Другие режимы RAID могут дать существенно большую скорость, например зеркало RAID1 из 24 пар, однако это не гарантирует оптимального использования всего доступного дискового пространства и не требуется для этого приложения.

Следующий график показывает отличную производительность на уровне 800 МБ/с за период времени продолжительностью 3 минуты. Использовалась следующая команда dd:

dd if=/rp1/iscsi/iotest of=/dev/null count=1024k bs=64k

 На последнем графике нарисованы значения собранные iostat c X4500 во время реальной активности приложений на ESX 3.5 через сеть iSCSI за период 3 минуты. Были созданы дополнительные 8 виртуальных машин, а для создания реальной нагрузки был запущен Microsoft’s SQLIO на 8-ми файлах по 2ГБ с непрерывной 100% записью с размером блока 64k.

Мы можем видеть постоянный ввод-вывод в 220МБ/с с активностью как на чтение так и на запись, а также неожиданный пик в 320МБ/с в конце записи. Хотя это не максимально достижимый уровень возможных конфигураций, безусловно доказано что производительность отличная и определённо отвечает соотношению цена-качество дизайна.

Есть некоторые небольшие улучшения которыми можно оптимизировать производительность конфигурации. Использование jumbo-пакетов в сети даст лучшую производительность операциям в стеке TCP, особенно при использовании программных инициаторов iSCSI на VMware. Более значительно будет использовать RAID-Z из 44 дисков, а 2 диска оставить под горячую замену, что улучшит производительность ввода-вывода на 15-20% без дополнительных затрат. Также хорошим вариантом является установка сетевого адаптера 10Гбит, если нужна большая скорость чем у агрегированного канала в 4Гбит.

По материалам сайта: http://blog.laspina.ca/ubiquitous/x4500_zfs_and_iscsi_performance

Автор: Mike La Spina

Перевод и адаптация: Виталий Сайфуллин