28 Replies Latest reply: May 7, 2013 10:00 AM by GERA.SUKHOV RSS

Как настроить на томах дедупликацию и сжатие?

GAUCIT_NETAPP
Currently Being Moderated

Данный вопрос возник в связи с тем, что в момент запуска sis СХД становится весьма и весьма неповоротливой. А netapp используется в основном для хранения виртуальных машин и как следствие начинают тормозить все виртуалки. И длится это часа 2 в лучшем случае, а порой и до 10 часов затягивается (стартует в полночь) и сильно затягивает процесс создания резервных копий, мешает работе с утра. И это ещё всего 3 ТБ данных на массиве. А если их там 10 ТБ будет? Вообще круглосуточно будет сжимать и дедуплицировать?

  • Re: Как настроить на томах дедупликацию и сжатие?
    GERA.SUKHOV
    Currently Being Moderated

    Наверно я буду не прав, если в ответ спрошу зачем Вам дедупликация одновременно с компрессией. Все хочется меда ложкой побольше. :-)

    Но вот на мой взгляд, у Вас эти процессы мешают друг-другу. Выключите компрессию. Оставьте только дедупликацию. Посмотрите производительность и оцените эффект.

    Из опыта работы с дедупликацией могу сказать, что слабенькие системы типа FAS2020 первоначальный процесс дедупликации проходят часа за 4. (том - 1TB; Lun1 - 900GB; Lun2 - 900GB; Lun3 - 300GB)

    Для более производительных систем FAS3240 (том - 3TB; штук 10 LUN-ов общим объемом ~4TB) текущий процесс дедупликации изменений занимает минут 30-40.

    Как видите значения не запредельные... Может у Вас что с настройками не то? Опишите более подробно что именно и как храните (SAN или NFS).

    Покажите что с местом (df -Vg). Если используете блочный доступ то как распределены LUN по томам (lun show -v).

    Приведите настройки дедупликации (sis config)

    • Re: Как настроить на томах дедупликацию и сжатие?
      GAUCIT_NETAPP
      Currently Being Moderated

      n26-ds1> df -Vg

      Filesystem                         total            used      avail        capacity    Mounted on

      /vol/vol_root/                      225GB        4GB      220GB          2%         /vol/vol_root/

      /vol/vol_root/.snapshot       75GB        0GB       74GB            0%       /vol/vol_root/.snapshot

      /vol/vol_iscsi1/                 12902GB      465GB    12436GB       4%  /vol/vol_iscsi1/

      snap reserve                         0GB        0GB        0GB     ---%            /vol/vol_iscsi1/..

       

      lun show -v

              /vol/vol_iscsi1/asteria/dhcp    1.0g (1077511680)    (r/w, online, mapped)

                      Comment: "disk for DHCP Asteria cluster"

                      Serial#: 27fVM$BjNySx

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: windows

                      Maps: ig_asteria-b=2 ig_asteria-a=2

                      Occupied Size:  100.5m (105385984)

                      Creation Time: Fri Oct 12 13:41:16 MSK 2012

                      Cluster Shared Volume Information: 0x1

              /vol/vol_iscsi1/asteria/isns    1.0g (1077511680)    (r/w, online, mapped)

                      Comment: "disk for iSNS Asteria cluster"

                      Serial#: 27fVM$BjNySv

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: windows

                      Maps: ig_asteria-b=1 ig_asteria-a=1

                      Occupied Size:   28.8m (30240768)

                      Creation Time: Fri Oct 12 13:18:44 MSK 2012

                      Cluster Shared Volume Information: 0x1

              /vol/vol_iscsi1/asteria/wins    1.0g (1077511680)    (r/w, online, mapped)

                      Comment: "disk for WINS Asteria cluster"

                      Serial#: 27fVM$BjNySt

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: windows

                      Maps: ig_asteria-b=3 ig_asteria-a=3

                      Occupied Size:   43.5m (45576192)

                      Creation Time: Fri Oct 12 13:09:22 MSK 2012

                      Cluster Shared Volume Information: 0x1

              /vol/vol_iscsi1/asteria/witness  102.0m (106928640)     (r/w, online, mapped)

                      Comment: "witness disk for Asteria cluster"

                      Serial#: 27fVM$BjNySr

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: windows

                      Maps: ig_asteria-b=0 ig_asteria-a=0

                      Occupied Size:   31.2m (32722944)

                      Creation Time: Fri Oct 12 13:04:32 MSK 2012

                      Cluster Shared Volume Information: 0x1

              /vol/vol_iscsi1/dione/dione_datadisk1    2.0t (2198888778240) (r/w, online, mapped)

                      Comment: "DIONE cluster disk N1"

                      Serial#: 27fVM$BjNyTC

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_gaia=1 fcg_uranus=1

                      Occupied Size:  969.3g (1040729661440)

                      Creation Time: Fri Dec 14 11:48:28 MSK 2012

                      Cluster Shared Volume Information: 0x3

              /vol/vol_iscsi1/hyper-v/atlas_hyper-v_disk1    1.0t (1099604782080) (r/w, online, mapped)

                      Comment: "ATLAS Hyper-V disk N1"

                      Serial#: 27fVM$BjNyTI

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_atlas=0

                      Occupied Size:    8.7g (9312604160)

                      Creation Time: Wed Feb  6 11:20:19 MSK 2013

                      Cluster Shared Volume Information: 0x0

              /vol/vol_iscsi1/hyper-v/gaia_hyper-v_disk1    1.0t (1099604782080) (r/w, online, mapped)

                      Comment: "GAIA Hyper-V disk N1"

                      Serial#: 27fVM$BjNyTA

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_gaia=0

                      Occupied Size:  504.5g (541668380672)

                      Creation Time: Fri Nov 16 12:40:32 MSK 2012

                      Cluster Shared Volume Information: 0x0

              /vol/vol_iscsi1/hyper-v/kronos_hyper-v_disk1    1.0t (1099604782080) (r/w, online, mapped)

                      Comment: "KRONOS Hyper-V disk N1"

                      Serial#: 27fVM$BjNyTK

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_kronos=0

                      Occupied Size:   10.2g (10918088704)

                      Creation Time: Wed Feb  6 11:23:39 MSK 2013

                      Cluster Shared Volume Information: 0x0

              /vol/vol_iscsi1/hyper-v/prometheus_hyper-v_disk1    1.0t (1099604782080) (r/w, online, mapped)

                      Comment: "PROMETHEUS Hyper-V disk N1"

                      Serial#: 27fVM$BjNyTG

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_prometheus=0

                      Occupied Size:   29.6g (31729565696)

                      Creation Time: Thu Jan 24 16:33:06 MSK 2013

                      Cluster Shared Volume Information: 0x0

              /vol/vol_iscsi1/hyper-v/uranus_hyper-v_disk1    1.0t (1099604782080) (r/w, online, mapped)

                      Comment: "URANUS Hyper-V disk N1"

                      Serial#: 27fVM$BjNyT3

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_uranus=0

                      Occupied Size:  536.8g (576425721856)

                      Creation Time: Tue Oct 23 16:06:11 MSK 2012

                      Cluster Shared Volume Information: 0x0

              /vol/vol_iscsi1/leto/leto_datadisk1    2.0t (2198888778240) (r/w, online, mapped)

                      Comment: "LETO cluster disk N1"

                      Serial#: 27fVM$BjNyTM

                      Share: none

                      Space Reservation: disabled

                      Multiprotocol Type: hyper_v

                      Maps: fcg_kronos=1 fcg_atlas=1

                      Occupied Size:  813.4g (873359863808)

                      Creation Time: Tue Feb 12 10:16:25 MSK 2013

                      Cluster Shared Volume Information: 0x3

       

      n26-ds1> sis config

                                                    Inline

      Path                 Schedule     Compression Compression

      -------------------- ------------ ----------- -----------

      /vol/vol_root        sun-sat@0    Disabled    Disabled

      /vol/vol_iscsi1      sun-sat@0    Enabled     Disabled

       

       

      Наверно я буду не прав, если в ответ спрошу зачем Вам дедупликация одновременно с компрессией. Все хочется меда ложкой побольше. :-)

      n26-ds1> df -S

      Filesystem                used            total-saved         %total-saved    deduplicated    %deduplicated    compressed    %compressed

      /vol/vol_root/         4249848                  16792                   0%           16792                    0%                            0                       0%

      /vol/vol_iscsi1/     488191080        2587374936             84%       588903280              55%                   1998471656            80%

      Вроде как выглядит очень вкусно. Хотя места пока много, можно сжатие и отключить...

       

      Опишите более подробно что именно и как храните

      Только LUNы, которые подключаются по FC и iSCSI

      • Re: Как настроить на томах дедупликацию и сжатие?
        GERA.SUKHOV
        Currently Being Moderated

        Пока никаких нестыковок не видно. Все выглядит нормально. Однако, раз процесс дедупликации длится очень долго, то это говорит о том, что было очень много измененных блоков данных. Поразмышляв над этим я обратил внимание на Вашу фразу про "затягивает процесс создания резервных копий". А резервные копии создаются на этом-же томе?

        • Re: Как настроить на томах дедупликацию и сжатие?
          GAUCIT_NETAPP
          Currently Being Moderated

          А резервные копии создаются на этом-же томе?

          Резервные копии виртуальных машин и данных из виртуальных машин (почтовые ящики Exchange, например, или базы SQL, в отдельных случаях просто копируется вся ВМ как набор файлов) пишутся на ленты, в ленточную библиотеку.

           

          Отключил сжатие, посмотрю недельку что будет

      • Re: Как настроить на томах дедупликацию и сжатие?
        mikhailf
        Currently Being Moderated

        Я видел результаты тестов от NetApp, где говорилось, что просто дедупликация и дедупликация со сжатием дают для VM приблизительно одинаковую экономию, и поэтому рекомендуется использовать только дедупликацию.

        Результаты, показывающие большой выигрыш от сжатия могут немного запутывать. Сжатие производится над блоками 32K, то есть 8х4К, а это значит, что в зависимости от того куда NTFS положила файл (какое смещение внутри блока 32К) с вероятностью 7/8 одни и те же данные дадут разные сжатые блоки, что значительно ухудшает дедупликацию.

        На Вашем месте я бы попробовал только дедупликацию, и с большой вероятностью Вы получите те же 80% экономии с меньшими затратами ресурсов.

        • Re: Как настроить на томах дедупликацию и сжатие?
          GRIGORIYF
          Currently Being Moderated

          Большой выигрыш от сжатия говорит о том, что скорее всего сжималось свободное место в виртуальных машинках, а оно все равно бы потом было дедуплицированно. (имхо)

          Кстати, а какой тип СХД так тормозит то ?

          Сжатие inline вкл или выкл ?

          • Re: Как настроить на томах дедупликацию и сжатие?
            GAUCIT_NETAPP
            Currently Being Moderated

            inline выключено изначально

            FAS2040, тормозит на томе с дисками SATA.

            • Re: Как настроить на томах дедупликацию и сжатие?
              GRIGORIYF
              Currently Being Moderated

              спасибо за инфу.

              у меня виртуалок на 1Т 2040 прожевывает где то за 2 часа.

              Хотя я думаю тут зависимость от интенсивности работы с ними в течении дня.

            • Re: Как настроить на томах дедупликацию и сжатие?
              GERA.SUKHOV
              Currently Being Moderated

              Опачки! А в выводе df -S Inline compressions - Enable! Или это текст так посдвигался?

              Если компрессия тоже осуществлялась по шедулеру, то тогда понятно, что все тормозило. Плюс к тому сами SATA диски не особо быстрые. Кстати, а проблем с производительностью на агрегате быть не может?

              • Re: Как настроить на томах дедупликацию и сжатие?
                GAUCIT_NETAPP
                Currently Being Moderated

                Текст так сдвинулся :-) По-моему, inline нельзя включить без compression. При включённом inline ЦП всегда был загружен под 100% и я её сразу отключил.

                • Re: Как настроить на томах дедупликацию и сжатие?
                  GERA.SUKHOV
                  Currently Being Moderated

                  Я лично не пробовал, но на сколько я читал в документах, то компрессия может быть настроена или "на лету" или по расписанию - так-же как дедупликация. Во втором случае я не знаю как можно разнести время запуска этих процессов. И, вполне возможно, они мешают друг другу...

                  К тому-же FAS2040, по моему личному мнению, не настолько шустрая, чтобы вообще включать на ней компрессию... Тот объем данных, что у Вас - уже достаточно серьезное испытание для нее. :-)

                  Резервные копии сразу пишутся на ленту? Т.е. на диски ничего не пишется?

                  А каков ориентировочный объем изменений на томе за сутки? Не пробовали посмотреть?

                  Может быть имеет смысл вынести что-то с большим количеством изменений на отдельный том...

                  • Re: Как настроить на томах дедупликацию и сжатие?
                    GAUCIT_NETAPP
                    Currently Being Moderated

                    Я лично не пробовал, но на сколько я читал в документах, то компрессия может быть настроена или "на лету" или по расписанию

                    n26-ds1> sis config -I true /vol/vol_iscsi1

                    Inline compression cannot be enabled when compression is disabled. Enable compression and retry the command: /vol/vol_iscsi1

                    Нельзя

                     

                    Резервные копии сразу пишутся на ленту? Т.е. на диски ничего не пишется?

                    Да, сразу на ленты пишется. Ну, может у сервера резервного копирования и пишется что-то промежуточно на диски, но они у него свои локальные.

                     

                    А каков ориентировочный объем изменений на томе за сутки? Не пробовали посмотреть?

                    Сегодня ночью был обработан 81 ГБ, насколько я понял это и есть объём изменений. Это примерно среднее значение. Иногда бывает по 400-500, но это очень иногда. Это всегда что-то глобальное, обычно это в выходные происходит и всегда с моим участием.

                    n26-ds1>sis status -l /vol/vol_iscsi1

                    Path:                            /vol/vol_iscsi1

                    State:                           Enabled

                    Compression:                     Disabled

                    Inline Compression:              Disabled

                    Status:                          Idle

                    Progress:                        Idle for 11:02:14

                    Type:                            Regular

                    Schedule:                        sun-sat@0

                    Minimum Blocks Shared:           1

                    Blocks Skipped Sharing:          0

                    Last Operation State:            Success

                    Last Successful Operation Begin: Fri Mar 15 00:00:00 MSK 2013

                    Last Successful Operation End:   Fri Mar 15 01:08:35 MSK 2013

                    Last Operation Begin:            Fri Mar 15 00:00:00 MSK 2013

                    Last Operation End:              Fri Mar 15 01:08:35 MSK 2013

                    Last Operation Size:             81 GB

                    Last Operation Error:            -

                    Change Log Usage:                0%

                    Logical Data:                    2959 GB/29 TB (10%)

                    Queued Job:                      -

                    Stale Fingerprints:              1%

                    Может быть имеет смысл вынести что-то с большим количеством изменений на отдельный том

                    Всё что активно меняется вообще на другом массиве. Здесь больше тестовые ВМ, но когда они тормозят разработчики жалуются.

                    • Re: Как настроить на томах дедупликацию и сжатие?
                      GRIGORIYF
                      Currently Being Moderated

                      Денис

                      вот моя 2040

                       

                      Path:                            /vol/VmwareNFS

                      State:                           Enabled

                      Compression:                     Enabled

                      Inline Compression:              Disabled

                      Status:                          Idle

                      Progress:                        Idle for 09:52:23

                      Type:                            Regular

                      Schedule:                        sun-sat@0

                      Minimum Blocks Shared:           1

                      Blocks Skipped Sharing:          0

                      Last Operation State:            Success

                      Last Successful Operation Begin: Fri Mar 15 00:00:00 MSK 2013

                      Last Successful Operation End:   Fri Mar 15 02:40:06 MSK 2013

                      Last Operation Begin:            Fri Mar 15 00:00:00 MSK 2013

                      Last Operation End:              Fri Mar 15 02:40:06 MSK 2013

                      Last Operation Size:             128 GB

                      Last Operation Error:            -

                      Change Log Usage:                0%

                      Logical Data:                    2010 GB/29 TB (7%)

                      Queued Job:                      -

                      Stale Fingerprints:              3%

                       

                      но других данных почти на полке нет.

                      так.. cifs ... так что не напрягает.

                      • Re: Как настроить на томах дедупликацию и сжатие?
                        GAUCIT_NETAPP
                        Currently Being Moderated

                        Скорость обработки примерно такая же, как и у меня. Проблем нет, когда надо обработать 100 Гб, проблемы начинаются когда вдруг разработчики наработали гигов на 300 (обычно это означает, что в SQL бакапы поднимали) ну, или понадобилась ВМ на состояние месячной давности, например. Вопрос-то был понизить приоритет для sis, чтобы а) бакап в виртуалках, которые тут хранятся, прошёл побыстрее и б) с утра не сильно мешало.

                        Если принудительно выставить для sis время работы 0-6, что будет если не успеет обработать все суточные изменения? Перенесёт на завтра и продолжит где остановился или просмотрит весь диск и начнёт дедуплкацию с учётом новых изменений?

                        • Re: Как настроить на томах дедупликацию и сжатие?
                          GERA.SUKHOV
                          Currently Being Moderated

                          Ха! Если бы в первоначальном вопросе хоть где-то прозвучало о том, чтобы понизить приоритет sis, то я бы даже писать не стал, поскольку не знаю таковых средств. А по последним 3-м предложениям я так понял, что проблемы с производительностью. Но если изменений 300-400GB, да еще и с компрессией, то в этом нет ничего удивительного. Так оно и будет. И тут либо выключить дедупликацию, либо запретить столь объемные изменения. Ну или диски, подвергающиеся наиболее частым и массивным изменениям выносить на другой том. Чудес в этом мире я не видел...

                        • Re: Как настроить на томах дедупликацию и сжатие?
                          GRIGORIYF
                          Currently Being Moderated

                          операция дедупликации в любом случае выполняется с более низкими приоритетами перед другими операциями,но у вас (нас) явно не хватает уже скорости винтов (iops).

                          Отложенная работа естественно будет продолжена, но и провести заново сканирование (подсчет crc) новых блоков тоже придется.

                          Думаю первое надо дождаться первых данных по времени работы при отключенном сжатии. (у меня оно кстати ON)

                    • Re: Как настроить на томах дедупликацию и сжатие?
                      GAUCIT_NETAPP
                      Currently Being Moderated

                      Если всё так, как должно быть, то буду смотреть за поведением СХД с выключенным сжатием.

      • Re: Как настроить на томах дедупликацию и сжатие?
        solonin_sv
        Currently Being Moderated

        Использование компрессии, согласно статистике NetApp, практически никак не сказывается на высвобождении места используемого виртуальными машинами, потому включать её для хранилища виртуалок бессмысленно, да ещё и нагрузку нехилую даёт.

        В вашем случае, есть проблема с пониманием организации рабочей среды на системах NetApp, у вас в принципе не должны подниматься виртуалки из бэкапов, для этого есть мгновенные снимки, тогда не будет никаких изменений по 300-400 Гигов из-за переразвёртывания виртуалок. Предлагаю пересмотреть схему организации хранения ваших данных, для наиболее эффективного использования вашей системы.

        У NetApp-а есть много специфики по работе с данными.

        • Re: Как настроить на томах дедупликацию и сжатие?
          GAUCIT_NETAPP
          Currently Being Moderated

          Имеются в виду мгновенные снимки томов массива или снимки ВМ средствами гипервизора? Во втором случае я получу тот же объём изменений. А как использовать снимки томов, если мне нужно восстановить только часть какого-то одного LUN'а на томе?

          Спасибо.

          • Re: Как настроить на томах дедупликацию и сжатие?
            GERA.SUKHOV
            Currently Being Moderated

            Мне кажется, что здесь лучше использовать снапшеты гипервизора. Сейчас попробую объяснить свою точку зрения...

            Вот есть LUN. В нем размещаем сколько-то виртуалок. С виртуалок делаем снапшеты средствами гипервизора. Теперь весь этот LUN дедуплицируем и работаем. Изменений в течении дня не должно быть много и процесс ночной дедупликации изменений должен проходить довольно шустро.

            Теперь Вам потребовалось отмотать какие-то виртуалки. Восстанавливаетесь средствами гипервизора со снапшета. По моему опыту это больше похоже на изменение указателей. Т.е. основной объем блоков не меняется. Просто они отмечаются как свободные. Поэтому на стороне СХД изменений будет не много, при том, что объем освобожденных (отмеченных как освобожденные) блоков может быть очень большим. Но если их не затирать нулями, то для СХД они неизменны.

            • Re: Как настроить на томах дедупликацию и сжатие?
              mikhailf
              Currently Being Moderated

              Необходимо быть осторожным со снапшотами гипервизора Vmware. delta-файлы которые им создаются не выравнены по границе 4K, поэтому производительность будет снижена (не говоря уже о потере производительности из-за дополнительной нагрузки на гипервизор). Откат к предыдущему снапшоту действительно очень быстрый (так как надо только удалить delta-файл), а вот удаление снапшота - это операция требующая значительных ресурсов.

              Восстановление файлов (vmdk) из снапшотов LUN производится путем монтирования снапшота как нового LUN и копирования необходимых файлов. VSC включает в себя необходимый функционал, но того же можно добиться вручную

              • Re: Как настроить на томах дедупликацию и сжатие?
                GERA.SUKHOV
                Currently Being Moderated

                delta-файлы которые им создаются не выравнены по границе 4K, поэтому производительность будет снижена (не говоря уже о потере производительности из-за дополнительной нагрузки на гипервизор).

                Это как так? Дельта файлы расположены на том-же LUN, что и виртуалки. Т.е. получается, что VMFS выравнена, а дельта файлы нет?

                • Re: Как настроить на томах дедупликацию и сжатие?
                  mikhailf
                  Currently Being Moderated

                  Сам delta-файл выровнен, но данные внутри файла - это просто набор 512-байтовых секторов.  Клиент пишет 512 байт - внутри файла выделяется 1 сектор, последующие записи будут невыровнены. Для Vmware это было проще в реализации - когда пишется 1 сектор не надо считывать остальные семь чтобы записать полностью выровненный блок. Я знаю что Vmware работает в этом направлении, и по-моему в Vmware View можно указать grain size для delta файлов (grain - это количество секторов на единицу размещения) как раз по причине плохой производительности linked clones. В vSphere такой функциональности пока нет.

            • Re: Как настроить на томах дедупликацию и сжатие?
              solonin_sv
              Currently Being Moderated

              Создание снэпшотов средствами гипервизоров не рекомендуется всеми разработчиками этих самых гипервизоров, так как очень сильно влияет на производительность. Восстановление части LUN лучше делать через подмонтирование мгновенного снимка как новый LUN.

              Есть ещё более интересные варианты, размещения виртуалок на NFS(для VMWare) и SMB 3.0 (для Hyper-V 3.0), тогда система хранения может прозрачно дать восстановить предыдущие версии файлов из мгновенных снимков, да и проблема с выравниванием решается.

More Like This

  • Retrieving data ...