15 Replies Latest reply: Jan 2, 2013 11:59 PM by nicholas4704 RSS

Добавление новой полки.

A.NIKITIN
Currently Being Moderated

Доброго времени суток, коллеги.

Я как всегда с наивными вопросами про NetApp FAS3240A с двумя полками (одна SSD, вторая SAS).

Пришло время расширяться, на подходе полка с SAS. Внятной пошаговой доки как подключить еше одну полку не нашел

(если кто в курсе, кинте ссылочку) и хочу поделиться своим виденьем процесса. Хочу услышать дельные замечания, советы.

Имеем:

24 диска SAS

3 отданы контроллеру SSD, на них сделан root.

1 spare

20 дисков побиты в 2 raid группы,на них собран агрегат

 

netapp2-shat2> df -A                      
Aggregate               kbytes       used      avail capacity 
aggr0_ctl2          6163358516 5546190992  617167524      90% 
aggr0_ctl2/.snapshot

 

netapp2-shat2> aggr options aggr0_ctl2    
root, diskroot, nosnap=off, raidtype=raid_dp, raidsize=10,
ignore_inconsistent=off, snapmirrored=off, resyncsnaptime=60,
fs_size_fixed=off, snapshot_autodelete=on, lost_write_protect=on,
ha_policy=cfo

 

netapp2-shat2> aggr status -r
Aggregate aggr0_ctl2 (online, raid_dp) (block checksums)
  Plex /aggr0_ctl2/plex0 (online, normal, active)
    RAID group /aggr0_ctl2/plex0/rg0 (normal)

      RAID Disk Device   HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
      --------- ------   ------------- ---- ---- ---- ----- --------------    --------------
      dparity  0b.00.3  0b    0   3   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      parity   0b.00.4  0b    0   4   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.5  0b    0   5   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.0  0b    0   0   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.1  0b    0   1   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.2  0b    0   2   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.6  0b    0   6   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.7  0b    0   7   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.8  0b    0   8   SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.9  0b    0   9   SA:B   -  SAS  15000 418000/856064000  420584/861357448

    RAID group /aggr0_ctl2/plex0/rg1 (normal)

      RAID Disk Device   HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
      --------- ------   ------------- ---- ---- ---- ----- --------------    --------------
      dparity  0b.00.10 0b    0   10  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      parity   0b.00.11 0b    0   11  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.12 0b    0   12  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.13 0b    0   13  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.14 0b    0   14  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.15 0b    0   15  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.16 0b    0   16  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.17 0b    0   17  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.18 0b    0   18  SA:B   -  SAS  15000 418000/856064000  420584/861357448
      data     0b.00.19 0b    0   19  SA:B   -  SAS  15000 418000/856064000  420584/861357448


Spare disks

RAID Disk Device   HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
--------- ------   ------------- ---- ---- ---- ----- --------------    --------------
Spare disks for block or zoned checksum traditional volumes or aggregates
spare    0b.00.20 0b    0   20  SA:B   -  SAS  15000 418000/856064000  420584/861357448

 

netapp2-shat2> options raid.min_spare_count
raid.min_spare_count         1          (value might be overwritten in takeover)

 

netapp2-shat2> options disk.auto_assign
disk.auto_assign             off        (value might be overwritten in takeover)

 

что собираюсь делать:

1. Подцепить полку (к нужному контроллеру, надеюсь в кабелях не запутаюсь)

2. Подать на нее питание.

3. Сказать disk assign с нужного контроллера.

 

Вот здесь засада. Оставить raidsize=10 и 4 диска оставить как spare. или сделать raidsize=21 и добавить по 11 дисков в каждую raid group?

Как лучше сделать?

  • Re: Добавление новой полки.
    aborzenkov
    Currently Being Moderated

    Полки всегда подключается к обоим контроллерам, а не к «нужному». Иначе не будет работать takeover. Внятная пошаговая документация есть на support.netapp.com, в разделе с неожиданным названием “Disk shelves”. А в самом документе глава «Hot-adding a SAS disk shelf».

    • Re: Добавление новой полки.
      A.NIKITIN
      Currently Being Moderated

      Спасибо, нашел две нужные pdf-ки:

      DS4243, DS2246, DS4486, and DS4246 Disk Shelf Installation and Service Guide

      Universal SAS and ACP Cabling Guide

      Документация от NetApp продолжает веселить, самая невнятная из всех документаций на массивы разных производителей.

      Про полки неудачно выразился, не к контроллеру а в нужный стек.

      Меня больше вопрос про raidsize мучает. Увеличивать или нет? Коллеги, подскажите из своего опыта.

      На raid group-ах собран агрегат в котором живут луни БД Oracle. Луни отдаются по FC.

      • Re: Добавление новой полки.
        ABOUTNETAPP.RU
        Currently Being Moderated

        Документация от NetApp продолжает веселить, самая невнятная из всех документаций на массивы разных производителей.

        "Это вы просто не умеете их готовить". Или не видели, допустим, руководства по хитачевским хайэндам. Вот где небо с овчинку покажется. ;-)

        • Re: Добавление новой полки.
          ANIKITIN
          Currently Being Moderated

          Я работаю в основном с Hitachi Hi-End - USP100, USP-VM, VSP . NetApp и еще немного мелких массивчиков в довесок как пережиток или по соображениям безопасности (изолированный массив NetApp). Более дотошной документации чем у Hitachi я нигде не встречал со времен ЕС1036 (у IBM еще что-то похожее сохранилось). Все по шагам, с картинками и ссылками на сопутствующие документы. Правда найти место с которого читать нелегко, нужен опыт. Процедура (по документации) подключения новой полки в NetApp повеселила - где-то выдерните из порта с кружочком  и т.д.10 строк, ни одной картинки. Даже в массивах Sun 61xx в документации все  подробно и по шагам. У вас 2-е полки - делаем так, коммутируем так.3-и полки - своя кортинка и так для всех вариантов.

          • Re: Добавление новой полки.
            ABOUTNETAPP.RU
            Currently Being Moderated

            Я работаю в основном с Hitachi Hi-End - USP100, USP-VM, VSP

            Вот о том и речь. :-)

             

            Есть такая байка, про оо как на заводе к технологам приходят работяги, и просят выточить им приспособу, какуют-то хитрую деталь при монтаже в неудобном месте держать. "Погодите!" - говорят им технологи, "Мы же это изделие уже 30 лет собираем, почему вы раньше не просили?" - "А так помните мы на прошлой неделе Митрича на пенсию провожали? У него еще рука такая, кривая, после перелома в детстве? Ну вот он нам ее и держал все время, а теперь держать некому, нужна приспособа."

             

            Это я к тому, что если документация на Hitachi вам кажется верхом совершенства, то, логично,нетапповская, вам будет казаться неудобной ;-D

            Но вопрос тут в определенной кривизне деформированности сознания предыдущим опытом, а совсем не в нетаппе.

            • Re: Добавление новой полки.
              ANIKITIN
              Currently Being Moderated

              Я не говорил что документация на Hitachi - верх "совершенсва", Я сказал дотошная и что в ней трудно искать информацию.

              И не сказал что у NetApp плохая. "Веселит" - эмоциональное состояние в процессе ее изучения.

              А за 25 лет работы с разными железяками уж как только сознание не искривлялось деформировалось :-)

  • Re: Добавление новой полки.
    DENISOV.NETWELL
    Currently Being Moderated

    Я бы выбирал из двух вариантов, всего 44 диска если поделить на три raid группы то получится по 14 дисков, тут производительность будет лучше чем 4 по 10.

    Но выбрал бы второй вариант две raid группы по 21 диск. Да перестроение дольше, но производительность выше и удобно добавлять следующие полки.

    • Re: Добавление новой полки.
      ANIKITIN
      Currently Being Moderated

      Подскажите чем чревато изменение количества дисков в raidsize. Это диструктивная операция или нет?

      • Re: Добавление новой полки.
        ABOUTNETAPP.RU
        Currently Being Moderated

        Нет, недеструктивная, но во первых следует учитывать, что увеличить размер RAID-группы достаточно просто, а вот уменьшить - нет, и следует все просчитать заранее. И второе - после такой процедуры крайне желательно запустить reallocation на aggregate level, чтобы "перетасовать" "чанки" на дисках и распределить их равномерно между всеми входящими в aggregate/RAID дисками, и старыми и новыми, иначе может оказаться так, что новые данные пойдут писаться преимущественно на добавленные, пустые диски, а не на уже заполненные имеющиеся (WAFL так устроен бай дизайн) , и в результате возникнет дисбаланс и hotspot операций на дисках.

        • Re: Добавление новой полки.
          ANIKITIN
          Currently Being Moderated

          Спасибо за совет, почитал про reallocation и возник вопрос:

          На aggregate level это (как я понимаю) -

          reallocate start -A -o aggr0_ctl2

          читаю в мане

          Do not use -A after growing an aggregate if you wish to optimize the layout of existing data; instead use `reallocate start -f /vol/<volname>’ for each volume in the aggregate.

          т.е. нужно использовать

          reallocate start -f /vol/cs_back_vol

          reallocate start -f /vol/cs_data_vol

          reallocate start -f /vol/root_ctl2

          Так какой вариант верный?

      • Re: Добавление новой полки.
        aborzenkov
        Currently Being Moderated

        Увеличение - нет, уменьшение - невозможно.

  • Re: Добавление новой полки.
    nicholas4704
    Currently Being Moderated

    Добрый

     

    Какой делать raidgroup size дело каждого и однозначной рекомендации нет. Нетапп поддерживет raidgroup до 28 для SAS/SSD. Default 16. Сам Нетапп обычно рекомендует оставлять default.

    Я видел документ (не могу его найти), что в связи с тем, что качество дисков улучшилось предлагается использовать raidgroup size 21 для SAS/SSD. Т.к. полки имеют 24 диска я часто использую конфигурацию 23+1 spare.

    Плюс меньшей группы - меньше вероятность отказа, т.к. дисков в группе меньше и меньше время ребилда. Плюс большей группы - место.

    Скорость работы от размера группы и кол-ва групп не зависит, важно только кол-во data дисков.

     

    В вашем случае я бы остановился либо на raidgroup size 15. (т.е. 3 рейдгруппы) либо 22 (две группы). 45 дисков - 2 spare=43/2~=22  Все зависит от желаний клиента. Если желаний нет, то 22 диска

    Вам нужно будет сначала поменять размер группы, а потом добавить диски в нужые рейдгруппы, я не уверен что он пополнит существующие рейдгруппы автоматом.  Рекомендую потреннероваться на симуляторе, или добавлять постепенно, т.к. эта операция необратимая. Мне кажется в System Manger можно было указать в какую группу добавлять диск.

     

    Затем желательно запустить reallocate на вольюмы. Только вот снапшоты нужно будет удалить... с ними reallocate работать не хочет.

     

    Nick

  • Re: Добавление новой полки.
    vladimirzhigulin
    Currently Being Moderated

    По поводу RG size, у NetApp есть такой "внутренний" документ - "Technical FAQ Storage Subsystem", если есть возможность попросите его у account manager'a, там удобно расписаны зависимости RG от моделей железа (читай aggr max size) и прочее.

    • Re: Добавление новой полки.
      nicholas4704
      Currently Being Moderated

      Вот цитаты из документа

      For HDD (SATA, FC, and SAS) the recommended sizing approach is to establish a RAID group size that is

      within the range of 12 (10+2) to 20 (18+2); that achieves an even RAID group layout (all RAID groups

      contain the same number of drives). If multiple RAID group sizes achieve an even RAID group layout,

      NetApp recommends using the higher RAID group size value within the range.

      Given the added reliability of SAS and Fibre Channel (FC) drives, it might sometimes be justified to use a

      RAID group size that is as large as 24 (22+2) if this aligns better with physical drive count and storage shelf

      layout.

      SSD is slightly different. The default RAID group size for SSD is 23 (21+2), and the maximum size is 28. For

      SSD aggregates and RAID groups, NetApp recommends using the largest RAID group size in the range of

      20 (18+2) to 28 (26+2) that affords the most even RAID group layout, as with the HDD sizing approach.

      Nick

More Like This

  • Retrieving data ...