21 Replies Latest reply: Apr 10, 2014 7:38 AM by DKHROMENKO RSS

Скорость доступа с HyperV по iSCSI

GRAFITECSYSADMIN Sprinter
Currently Being Moderated

Не совсем уверен, что обратился по адресу, но всё же:

 

Используем файлер NetApp Fas2220 только для хранения виртуалок, доступ через iSCSI.

Физическое подключение через 4x1Gbe (MultiChannel в RoundRobin) к каждому контроллеру.

Диски (SAS, 600gb, 10k) разбиты следующим образом: 10 в основном агрегате, на котором всё и хранится, 2 на втором контроллере (только для обеспечения HA)

На файлере лежат 4 виртуалки и очень не блещут скоростью работы, хотя нагрузка, как мне кажется, далеко не гигантская.

Железо серверов:

Мать: SuperMicro X9DR3-F

Сетевые карты: Intel(R) Ethernet Server Adapter I350-T2

Гипервизор: HyperV 2012

Установлены NetApp-овские утилиты (и MPIO и host_utilities)

На обоих концах включён JumboFrame

 

Что навалено: пара виртуалок в простое (Ubuntu 12 и server 2012) и пара виртуалок с нагрузкой: SBS2011 (полезная нагрузка - AD+Exchange) и Server 2008R2 (полезная нагрузка TMG2010)

В чём тормоза: Например, открытие консоли Exchange 2010 занимает около 30 секунд, потом ещё столько же в неё образуется содержимое и секунд по 5-10 приходится ждать отклика на активные действия.

В это время память свободная присутствутет с запасом, проц скачет не выше 20%, а вот очередь диска пляшет в районе 5 с пиками до 13.

Графики с дашборда файлера, снятые в это время, прилагаю.

 

С другой стороны, если я читаю содержимое дисков с помощью HD_Speed и ставлю размер блока побольше, я получаю скорость чтения около 400 мегабайт в секунду, и скорость записи за 200 мегабайт в секунду.

 

 

 

Собственно, вопрос:

Является ли это нормой, что можно сделать для оптимизации.

  • Re: Скорость доступа с HyperV по iSCSI
    Sergey Yaroschuk Novice
    Currently Being Moderated

    Приветствую!

    Во время тормозов сделайте в консоли sysstat -x 1 и смотрите там.

    • Re: Скорость доступа с HyperV по iSCSI
      GRAFITECSYSADMIN Sprinter
      Currently Being Moderated

      не нашёл, как аттачить файлы в ответах, так что приаттачил к основной теме.

      • Re: Скорость доступа с HyperV по iSCSI
        Sergey Yaroschuk Novice
        Currently Being Moderated

        По статистике не видно особых тормозов со стороны стореджа. Так что не в нем дело.

        • Re: Скорость доступа с HyperV по iSCSI
          GRAFITECSYSADMIN Sprinter
          Currently Being Moderated

          Ага, остаётся вопрос - как выяснить, во что упирается производительность

          Тут не видно пика загрузки даже одной сетевухи, не говоря уже о 4х.    

           

           

           

          PS

          А как вы определяете отсутствие особых тормозов?

          Я задумался о тормозах стораджа, увидев  Disk util в пике 88%

           

          Только я не понимаю, почему пик Disk Util совпадает с пиком Cache hit

          Если больше попало в кэш, значит диски в это время должны меньше напрягаться?

          Или это значит, что выбирались одновременно и кэшированные и некэшированные данные?

           

          Вижу, что в это время на сторадж приходило 58 мегобайт в секунду по iSCSI (по столбцам Net in, iSCSI in), а вот на диски писалось 8, да и после этого писалось мало. куда же они делись?

           

          вижу, что читалось / писалось с максимальной скоростью в 17 / 52 мегабайта. маловато - или я не на то смотрю?

          А передавалось / получалось 52 / 58 мегабайта в сек. тоже не вершина производительности.

          • Re: Скорость доступа с HyperV по iSCSI
            Sergey Yaroschuk Novice
            Currently Being Moderated

            Disk util бегает от 30 до 80% - это нормально, диски работают ))

            Вот залипание на 100% в течение секунд 20-40 - это тормоза, сигнал от том, что явно шпинделей не хватает.

            На вашем куске статистике из примечательного вижу только флаг H в колонке CP type , такое бывает когда при небольших iops идет потоковая запись и в RAM стореджа много данных для сброса.

             

            А партиции для vhd вы чем размечали? Snapdrive, SnapManager for Hyper-V стоит?

            Еще я бы рекомендовал почитать доки TR-3702, TR-3701

             

            Если коммутаторы используете, то mtu какой стоит?

            • Re: Скорость доступа с HyperV по iSCSI
              GRAFITECSYSADMIN Sprinter
              Currently Being Moderated

              Я не использую VHD - диски по iSCSI подключаются к хосту, настраиваются как кластерные и монтируются к виртуалкам.

              Так я могу для каждой виртуалки откатывать снапшоты и т.д.

               

              Партиции размечал той операционкой, что установлена на VM - либо во время установки, либо при монтировании диска (Server 2008 R2)

              Это вы к вопросу о сдвиге партиций? Всё ОК (проверял этим методом)

              При создании LUN-ов, быть может, выбирал OSHyper-V в OnCommand System Manager (не сразу разобрался, что надо указывать гостевую операционку, а не хостовую).

              Но, кажется, это не влияет.

               

              SnapDrive, SnapManager не покупали.

               

              TR-3702 читал, применял.

              TR37-01 прочитаю.

               

              Коммутатор Allied Telesys gs950-24-eco, JF он включает автоматически.

              MTU 9000 на хостах (включал JumboFrame).

              На файлере тоже включал JF.

              Проверял так:

              ping 10.0.12.1 -f -l 8000

              Pinging 10.0.12.1 with 8000 bytes of data:

              Reply from 10.0.12.1: bytes=8000 time<1ms TTL=255

          • Re: Скорость доступа с HyperV по iSCSI
            vladimirzhigulin Cyclist
            Currently Being Moderated

            > А как вы определяете отсутствие особых тормозов?

             

            Letancy не превышает 10ms, то есть СХД получила запрос и "отработала" запрос менее чем за 10ms, то есть это latency с точки зрения СХД.

             

            Что нужно сделать: измерить latency со стороны "клиента". Если обнаружатся величины более 10ms, на пример 50-80 и более, то эти задержки обусловлены сетью.

             

            Я бы посмотрел:

             

            1. Ошибки на сетевых интерфейсах СХД и клиентов.

            2. Согласованность full duplex / auto настроек сетевых интерфейсов.

            3. Статистику свичей между СХД и клиентами.

  • Re: Скорость доступа с HyperV по iSCSI
    mikhailf NetApp Employee Sprinter
    Currently Being Moderated

    Если посчитать, диск SAS 10K способен на 140 IOPS, у Вас в агрегате 10 дисков, минус 2 на парити, получается 8 дисков с данными. Это дает 8 x 140 = 1120 IOPS. Если бы это были только случайные операции (random IO) размером 4K, то Вы получили бы производительность меньше 5 MB/s.Все, что получается свыше этого - это благодаря последовательному чтению/записи (т.е. больший размер блока в операции ввода-вывода) и тому факту, что файлер переводит операции случайной записи от клиента в последовательную запись на диск. Чем больше будет виртуалок, тем больше операции ввода-вывода будут носить случайный характер. Мой диагноз - хотите большей производительности - добавляйте диски.

     

    Что до оптимизаций - попробуйте включить free_space_realloc на агрегате, и read_realloc=space_optimized на томах. Чудес не будет, но две этих опции позволяют сохранить оптимальное размещение данных с течением времени.

    • Re: Скорость доступа с HyperV по iSCSI
      Sergey Yaroschuk Novice
      Currently Being Moderated

      На что способен каждый диск в максимуме - это хорошая информация. Но насколько он занят на самом деле - показывает колонка Disk Utilization.

    • Re: Скорость доступа с HyperV по iSCSI
      GRAFITECSYSADMIN Sprinter
      Currently Being Moderated

      хмм.

      В целом, вы конечно, правы.

      Но всё же у меня есть надежда, что получится решить вопрос другими методами.

      Хотя бы потому, что производительности одного SAS-диска (при переносе виртуалки на "железо") хватает, а вот СХД с 8ю (на самом деле с 7ю - один диск ушёл на HotSpare) - не хватает.

       

      За рекомендации спасибо, применю.

      • Re: Скорость доступа с HyperV по iSCSI
        DARK_ANGEL Novice
        Currently Being Moderated

        а покажите вывод

         

        stats show disk:*:disk_busy

         

        почитайте

        https://kb.netapp.com/library/CUSTOMER/solutions/1013259/PerformanceAdvisor_Default_Threshods.pdf

         

        Вариантов много в зависимости от того как вы файлер настраивали.

        Посмотрите латенси по записи и чтению у тома быть может там проблемы. Посмотрите равномерность нагрузки по дискам  быть может при добавлении дисков в агрегат у вас получается чрезмерная нагрузка на добавленные диски. поддержу mikhailf по поводу релалокейшина. Только учтите что реалокейшин разный сделайте  volume reallocate а потом aggregate reallocate если это нужно.   

         

        Настроены ли у вас жамбофреймы на всем пути от файлера до сервера ? Включить только  на концах жамбо не достаточно при условии что в транспорте учавствует не одно сетевое устройство.

         

        А сетевые карты в никтименге те порты объеденены в Езерченел, LASP??  Наргузка на порты сетевые равномерная?  Мультипассинг включен?

         

        очень похоже по насстату что у вас диски очень очень биззи.

        • Re: Скорость доступа с HyperV по iSCSI
          GRAFITECSYSADMIN Sprinter
          Currently Being Moderated

          Отключил всё от файлера, начал тестировать.

          JumboFrames включены на всём пути (для тестов воткнул напрямую файлер в сервак)

           

          читаю много больших файлов (Far, copy -> NUL)

          Вижу, что все 4 сетевухи загружаются на ~150 мегабит, скорость копирования файлов порядка 80-90 мегабайт/сек.

          загрузка дисков (stats show disk:*:disk_busy) в это время 25-50%

          latency 1-4

          Protocol Ops ~600

          CPU 10%

          I/O Throughput графики NetSend и DiskRead идут около 80 мегабайт/сек

          кому удобнее смотреть в графике - прилагаю картинку.

          file_copy.png

          с локального зеркала из двух WD blue те же файлы читаются на скорости > 200 мегабайт/сек

          • Re: Скорость доступа с HyperV по iSCSI
            2IHI12345 Novice
            Currently Being Moderated

            Кстати, за фарой замечено было что он несколько замедляет процессы кача, особенно по протоколам FTP. линейный кач файлА лучше смотреть тем же встроенным виндовым манагером, он ближе к реальности, а ФТП прокачивать лучше фаерфоксом, в нем ФТП-клиент достаточно хорошо реализован. То же самое касается миднайта, F5 в миднайте гораздо медленней чем тот же cp.

             

            Ну а хранилки у нетапа уж очень перехвалены, при том что до момента покупки каких либо "земных" тестов не увидеть, а сотрудники поддержки толком ничего не говорят. Особо напрягает убивание 6ти дисков под ось, в бюджетных хранилках (хотя с какой стороны посмотреть, 2+ млна уже не сильно бюджетно), это очень напрягает.. ЕМС как-то подружелюбней в этом плане к юзеру. Да и всякие там дедубликации и прочая ерунда сводится на нет, когда 6 дисков из 24х (в моем случае из 20ти) выбрасываются на ветер. Чую мы распрощаемся с нетапом. Надежд совсем не оправдал. Менее фичавые системы в 6 раз дешевле и быстрее получаются при тех же дисках и большем выходе дискоместа.

             

            Если не секрет, в какие деньги вам обошелся 2220?

            • Re: Скорость доступа с HyperV по iSCSI
              GRAFITECSYSADMIN Sprinter
              Currently Being Moderated

              логично, я проверю скорость виндовой копипасты.

              но проблема всё-же не в фаре - я занялся тестированием, когда бухи сказали, что 1с, переложенная на виртуалку, хранящуюся на нетаппе по iSCSI стала работать в разы медленнее.

              Переложил базы на локальный винт хоста - скорость работы 1с выросла.

              Проверил копирование - увидел проблему.

            • Re: Скорость доступа с HyperV по iSCSI
              vladimirzhigulin Cyclist
              Currently Being Moderated

              > Особо напрягает убивание 6ти дисков под ось

              То есть у вас aggr0 (на котором лежит vol0) mirrored raid_dp?

              • Re: Скорость доступа с HyperV по iSCSI
                2IHI12345 Novice
                Currently Being Moderated

                Нет, чуток не так.

                 

                Изначально СХД просит 3 диска на каждый контроллер под свою ОС (онтап) и того 6 хардов, в моем случае - 20 сасов + 4 ССД получаем 20-6=14, из 14ти дисков построен агрегат, в котором по факту работающих 12. Но я перевел р-дп под ОС в р4 и тем самым освободил по диску с каждого контроллера, что крайне не рекомендуется.. Еще крайне рекомендуется оставлять 2 диска в виде хотспейров, иначе ось матерится.. короче говоря вымогание лишних хардов

  • Re: Скорость доступа с HyperV по iSCSI
    2IHI12345 Novice
    Currently Being Moderated

    ребята, сори за офтоп, но как ту создать новую ветку?!

  • Re: Скорость доступа с HyperV по iSCSI
    DKHROMENKO Novice
    Currently Being Moderated

    Удалось разобраться с проблемой "скорости" в Hyper-V?

More Like This

  • Retrieving data ...

Legend

  • Correct Answers - 10 points
  • Helpful Answers - 5 points