23 Replies Latest reply: Sep 27, 2013 7:38 AM by INVESTSTROY15 RSS

Проблема с дедупликацией после удаления клона

INVESTSTROY15 Sprinter
Currently Being Moderated

Жил-был у нас том, и был на нём клон, и всё было как в сказке: sis справлялся с работой за час.

Теперь клона нет, и sis уже вторую неделю не может переварить старый том. С каждым днём на операцию уходит всё больше времени, уже доходит до 14 часов:

na01>sis status  -l                               

 

Path:                        /vol/vol_vsphere_na01_ds01
State:                       Enabled
Compression:                 Disabled
Inline Compression:          Disabled
Status:                      Idle
Progress:                    Idle for 04:54:39
Type:                        Regular
Schedule:                    sun-sat@19
Minimum Blocks Shared:       1
Blocks Skipped Sharing:      0
Last Operation State:        Success
Last Successful Operation Begin:Sun Sep  1 22:00:00 MSK 2013

Last Successful Operation End:

Mon Sep  2 12:25:22 MSK 2013
Last Operation Begin:        Sun Sep  1 22:00:00 MSK 2013
Last Operation End:          Mon Sep  2 12:25:22 MSK 2013
Last Operation Size:         1107 GB
Last Operation Error:        -
Change Log Usage:            5%
Logical Data:                2631 GB/59 TB (4%)
Queued Job:                  -
Stale Fingerprints:          39%

 

Объём тома не колоссален, и совсем непонятно на что теперь тратится такое количество времени.

na01> df -h vol_vsphere_na01_ds01

Filesystem               total       used      avail capacity  Mounted on

/vol/vol_vsphere_na01_ds01/     5676GB     4288GB     1388GB      76%  /vol/vol_vsphere_na01_ds01/

/vol/vol_vsphere_na01_ds01/.snapshot     1419GB     3368GB        0GB     237%  /vol/vol_vsphere_na01_ds01/.snapshot

  • Re: Проблема с дедупликацией после удаления клона
    GERA.SUKHOV Kart Racer
    Currently Being Moderated

    А не может ли это быть связано со снапшотом на томе? Чисто гипотетически предположил, что там много подпадающих под подозрение блоков и он их каждый раз шерстит. А перенести не может, так как блоки заморожены в снапшоте.

    • Re: Проблема с дедупликацией после удаления клона
      INVESTSTROY15 Sprinter
      Currently Being Moderated

      Вряд ли, необычных снэпшотов на томе нет, и проблема появилась ровно после удаления клона.

      sis по расписанию же не может шерстить снэпшоты, он же только в AFS работает.

      • Re: Проблема с дедупликацией после удаления клона
        GERA.SUKHOV Kart Racer
        Currently Being Moderated

        Нет необычных снапшотов? А снапшот объемом 3368 GB - это вполне обычно?

        У Вас в последней операции участвовало более 1107 GB изменений. При размере тома в 5676 GB это нормальный объем изменений?

        • Re: Проблема с дедупликацией после удаления клона
          INVESTSTROY15 Sprinter
          Currently Being Moderated

          Это снэпшоты SMVI и SMSQL, их десятки, там данные за 3 месяца. Вполне обычно, разве нет?

          Change rate аномальный, согласен. Но вырос он ровно после удаления клона, до этого был в пределах 100-200 ГБ/сутки.

          • Re: Проблема с дедупликацией после удаления клона
            GERA.SUKHOV Kart Racer
            Currently Being Moderated

            Вот опять-же, сами по себе снапшоты - нормально. На мой взгляд не нормально когда их много. Т.е. зачем снапшот месячной давности? Разве допустима потеря данных за месяц? Я собственно клоню к тому, что снапшот - это не полноценный бэкап длительного хранения. Он хорош для оперативного бэкапа. Например каждые 10 минут. :-) Или раз в день. Но речь не об этом.

            Я не знаю в точности алгоритма дедупликации. Но известно, что он составляет базу "отпечатков" блоков данных, ее индексирует с целью определения похожих блоков, и производит побайтное сравнение похожих блоков. Так вот вопрос, если блок заперт в снапшоте - он разве вообще исключается из этого алгоритма?

            Если у Вас на этом томе расположены LUN-ы, то можно посмотреть на источник этих изменений за день. Для этого нужно сбросить статистику (lun stats -z) и в конце дня глянуть сколько накопилось (lun stats -o).

            И вот если окажется, что фактических изменений за день немного, то стоит подумать над моей идеей об снапшотах. ;-)

            • Re: Проблема с дедупликацией после удаления клона
              INVESTSTROY15 Sprinter
              Currently Being Moderated

              Почему же не бэкап, линейка SnapManager как раз позиционируется для резервного копирования. Периодически возникает необходимость залезть в систему 3х-месячной давности, и с SnapManager это очень удобно.

               

              sis работает только в AFS:

              Only data in the active file system is deduplicated. Data pointed to by Snapshot copies that were created before deduplication was run is not released until the Snapshot copy is deleted or expires. For more information about deduplication and Snapshot copies, refer to the section called “Snapshot Copies” in this document.

  • Re: Проблема с дедупликацией после удаления клона
    Artur Alikulov Certified Sprinter
    Currently Being Moderated

    А какая версия DOT?

    И сколько места занимают метаданные дедупликации на агрегате?

    • Re: Проблема с дедупликацией после удаления клона
      INVESTSTROY15 Sprinter
      Currently Being Moderated

      8.1.3 7-mode.

      А где это смотреть?

      • Re: Проблема с дедупликацией после удаления клона
        Artur Alikulov Certified Sprinter
        Currently Being Moderated

        Команда aggr show_space и смотрите на значение A-SIS. Если оно слишком большое, то явно баг на который ниже ссылку уже дали.

        • Re: Проблема с дедупликацией после удаления клона
          INVESTSTROY15 Sprinter
          Currently Being Moderated

          Вроде бы в пределах обещанных 4%, даже сильно меньше:

           

          na01*> aggr show_space -g

          Aggregate 'aggr0'

           

              Total space    WAFL reserve    Snap reserve    Usable space       BSR NVLOG           A-SIS          Smtape

                  11483GB          1148GB             0GB         10335GB             0GB            24GB             0GB

           

          Space allocated to volumes in the aggregate

           

          Volume                          Allocated            Used       Guarantee

          vol0                                164GB            26GB          volume

          vol_vsphere_na02_test02_sv            15GB            13GB            none

          vol_cifs_na01_test01                  4GB             3GB            none

          vol_vsphere_na01_ds01              5599GB          5575GB            none

          vol_vsphere_na01_test01             145GB           143GB            none

          vol_vsphere_na01_ds02               232GB           230GB            none

           

          Aggregate                       Allocated            Used           Avail

          Total space                        6161GB          5993GB          3752GB

          Snap reserve                          0GB           396GB             0GB

          WAFL reserve                       1148GB           132GB          1015GB

           


  • Re: Проблема с дедупликацией после удаления клона
    DENISOV.NETWELL Sprinter
    Currently Being Moderated

    Как правильно заметил Artur Alikulov Какая версия DOT? скорей всего меньше чем 8.1.2P4

    значит есть баг http://support.netapp.com/NOW/cgi-bin/bol?Type=Detail&Display=657692

    а также http://support.netapp.com/NOW/cgi-bin/bol?Type=Detail&Display=681095

    По этому рекомендую обновится до 8.1.3P1 http://support.netapp.com/NOW/download/software/ontap/8.1.3P1/

    И после этого "sis start -s /vol/<volname>" так как у вас заполненность больше 70%.

    • Re: Проблема с дедупликацией после удаления клона
      INVESTSTROY15 Sprinter
      Currently Being Moderated

      благодарю, как раз вышел на описание первого бага, похоже на нашу ситуацию с >70% заполненностью.

      попробую обновиться, заодно сделаю прогон sis start -s.

      • Re: Проблема с дедупликацией после удаления клона
        DENISOV.NETWELL Sprinter
        Currently Being Moderated

        в 8.1.3 нет первого бага в нем есть второй . У вас дедупликация заканчивалась успешно, вам не надо запускать sis start -s, все старые метаданные уже удалены.

        И выложите еще пожалуйста вывод команды sis stat -l /vol/vol_vsphere_na01_ds01

        она доступна в diag mode

        priv set diag

        • Re: Проблема с дедупликацией после удаления клона
          INVESTSTROY15 Sprinter
          Currently Being Moderated

          Но ведь там в продолжение рекоммендация:

          If your FlexVol volume or the aggregate containing the

          FlexVol volume is 70% full or more it is recommended to run the

          "sis start -s /vol/<volname>" command for systems that are on 7-Mode or

          "volume efficiency start -vserver <vservername> -volume <volname>

          -scan-old-data true" command for systems that are running clustered Data ONTAP.

          This will delete the existing fingerprint database and build a new one on the

          volumes and aggregates.

          И судя по огромному % Stale Fingerprints и времени выполнения, дедупликация не так успешна.

          Только не очень понятно, чем отличается запуск sis start -s от запуска по расписанию.

           

          Может, имеет смысл сделать sis check </vol/volname>?

          Verifies and updates the fingerprint database for the flexible volume specified; includes purging stale fingerprints (requires advanced mode).

          Второй баг касается только времени дедупликации на высоконагруженных системах? У нас нагрузка достаточно разнесена по времени.

        • Re: Проблема с дедупликацией после удаления клона
          INVESTSTROY15 Sprinter
          Currently Being Moderated

          na01*> sis stat -l /vol/vol_vsphere_na01_ds01

           

          Path:                   /vol/vol_vsphere_na01_ds01

          Allocated:              2255564812 KB

          Shared:                 167277324 KB

          Saving:                 508152648 KB

          %Saved:                 18 %

          Max Refcount:           32767

          Total Processed:        84982237684 KB

          Total Process Time:     566:19:29

          Total Verify Time:      07:34:06

          SIS Files:              70

          Succeeded Op:           60

          Started Op:             60

          Failed Op:              0

          Stopped Op:             0

          Deferred Op:            14

          Succeeded Check Op:     21

          Failed Check Op:        0

          Suspended Check Op:     0

          Total FP Deleted:       4935396397

          Total Sorted Blocks:    54947942297

          Overlapped Blocks:      78726346

          Same Fingerprint:       2034005814

          Same FBN Location:      821876388

          Same Data:              163400105

          Same VBN:               3990247

          Mismatched Data:        225145

          Max Reference Hits:     0

          Staled Recipient:       33719494

          Staled Donor:           179489389

          File Too Small:         0

          Out of Space:           0

          FP False Match:         986462

          Mismatch By Overwrites: 867549548

          Delino Records:         0

          Unaligned Compression Blocks: 0

          Additional Sharing Messages: 0

          Compression Saved:      0

          CGs Decompressed:       0

          Partial CG Modifies:    0

          Avg Decompress Time:    0

          Avg Compress Time:      0

          Extra CP Reads:         0

          CGs Compressed Inline:  0

          CGs Compressed:         0

          Compressed Blocks:      0

          Uncompressed Blocks:    0

          New Partial CG Writes:  0

          Decompress Disk Bad:    0

          Decompress SW Bad:      0

          Compression Attempts:   0

          Compression Failures:   0

          Poor Compression Ratio: 0

          Shared Blocks Skipped: 0

          Snapshot Blocks Skipped: 0

          Un-Flushed Change Logs: 779

          • Re: Проблема с дедупликацией после удаления клона
            DENISOV.NETWELL Sprinter
            Currently Being Moderated

            Mismatch By Overwrites: 867549548

            Вот у вас второй баг.


            • Re: Проблема с дедупликацией после удаления клона
              INVESTSTROY15 Sprinter
              Currently Being Moderated

              Обновился позавчера, проблема осталась.

               

              na01> sis status -l

              Path:                            /vol/vol_vsphere_na01_ds01

              State:                           Enabled

              Compression:                     Disabled

              Inline Compression:              Disabled

              Status:                          Idle

              Progress:                        Idle for 12:46:55

              Type:                            Regular

              Schedule:                        sun-sat@20

              Minimum Blocks Shared:           1

              Blocks Skipped Sharing:          0

              Last Operation State:            Success

              Last Successful Operation Begin: Wed Sep  4 20:00:00 MSK 2013

              Last Successful Operation End:   Thu Sep  5 05:01:34 MSK 2013

              Last Operation Begin:            Wed Sep  4 20:00:00 MSK 2013

              Last Operation End:              Thu Sep  5 05:01:34 MSK 2013

              Last Operation Size:             1321 GB

              Last Operation Error:            -

              Change Log Usage:                11%

              Logical Data:                    2638 GB/59 TB (4%)

              Queued Job:                      -

              Stale Fingerprints:              54%

               

              /etc/log/sis:

              Tue Sep  3 20:00:00 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 0] Info (sis start schedule)

              Tue Sep  3 20:00:40 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378224000] Begin (schedule)

              Tue Sep  3 20:00:40 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378224000] Sort (214530763 fp entries)

              Tue Sep  3 20:14:38 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378224000] Dedup Pass1 (3182835 dup entries)

              Tue Sep  3 20:15:08 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378224000] Dedup Pass2 (73123834 dup entries)

              Tue Sep  3 20:18:05 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378224000] Sharing (0 return status)

              Wed Sep  4 00:41:28 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Begin (sis auto check)

              Wed Sep  4 00:41:28 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Verify

              Wed Sep  4 00:41:43 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Sis Verify Phase 1

              Wed Sep  4 01:00:42 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Merge (352728497 stale entries)

              Wed Sep  4 01:14:28 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Sis Verify Phase End

              Wed Sep  4 01:14:28 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Stats (blks gathered 0,finger prints sorted 1024063427,dups found 3182835,new dups found 73123834,blks deduped 3250520,finger prints checked 1024063476,finger prints deleted 352728497)

              Wed Sep  4 01:14:29 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Sort (53700388 fp entries)

              Wed Sep  4 01:29:14 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Dedup Pass1 (497692 dup entries)

              Wed Sep  4 01:29:27 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Dedup Pass2 (14654704 dup entries)

              Wed Sep  4 01:30:04 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Sharing (0 return status)

              Wed Sep  4 02:09:37 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] Stats (blks gathered 0,finger prints sorted 1077763815,dups found 497692,new dups found 14654704,blks deduped 353768,finger prints checked 0,finger prints deleted 352728448)

              Wed Sep  4 02:09:37 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378240888] End (214801552 KB)

              Wed Sep  4 20:00:00 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 0] Info (sis start schedule)

              Wed Sep  4 20:00:00 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378310400] Begin (schedule)

              Wed Sep  4 20:00:00 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378310400] Sort (346294435 fp entries)

              Wed Sep  4 20:15:31 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378310400] Dedup Pass1 (5758375 dup entries)

              Wed Sep  4 20:15:51 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378310400] Dedup Pass2 (133554897 dup entries)

              Wed Sep  4 20:20:57 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378310400] Sharing (0 return status)

              Thu Sep  5 04:26:50 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Begin (sis auto check)

              Thu Sep  5 04:26:50 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Verify

              Thu Sep  5 04:26:55 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Sis Verify Phase 1

              Thu Sep  5 04:46:17 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Merge (399875970 stale entries)

              Thu Sep  5 05:01:34 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Sis Verify Phase End

              Thu Sep  5 05:01:34 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] Stats (blks gathered 0,finger prints sorted 1071329801,dups found 5758375,new dups found 133554897,blks deduped 3258811,finger prints checked 1071329894,finger prints deleted 399875970)

              Thu Sep  5 05:01:34 MSK 2013 /vol/vol_vsphere_na01_ds01 [sid: 1378340810] End (1385177740 KB)

              • Re: Проблема с дедупликацией после удаления клона
                DENISOV.NETWELL Sprinter
                Currently Being Moderated

                выложите еще  вывод команды sis stat -l /vol/vol_vsphere_na01_ds01

                после обновления

                • Re: Проблема с дедупликацией после удаления клона
                  INVESTSTROY15 Sprinter
                  Currently Being Moderated

                  na01*> sis stat -l /vol/vol_vsphere_na01_ds01

                   

                  Path:                   /vol/vol_vsphere_na01_ds01

                  Allocated:              2258059784 KB

                  Shared:                 168659536 KB

                  Saving:                 506511864 KB

                  %Saved:                 18 %

                  Max Refcount:           32767

                  Total Processed:        87700779920 KB

                  Total Process Time:     582:54:31

                  Total Verify Time:      01:00:22

                  SIS Files:              64

                  Succeeded Op:           4

                  Started Op:             4

                  Failed Op:              0

                  Stopped Op:             0

                  Deferred Op:            0

                  Succeeded Check Op:     3

                  Failed Check Op:        0

                  Suspended Check Op:     0

                  Total FP Deleted:       678171818

                  Total Sorted Blocks:    4524127581

                  Overlapped Blocks:      5620296

                  Same Fingerprint:       372503636

                  Same FBN Location:      45156252

                  Same Data:              11407148

                  Same VBN:               182747

                  Mismatched Data:        14645

                  Max Reference Hits:     0

                  Staled Recipient:       9415374

                  Staled Donor:           9798175

                  File Too Small:         0

                  Out of Space:           0

                  FP False Match:         1001107

                  Mismatch By Overwrites: 299951795

                  Delino Records:         0

                  Unaligned Compression Blocks: 0

                  Additional Sharing Messages: 0

                  Compression Saved:      0

                  CGs Decompressed:       0

                  Partial CG Modifies:    0

                  Avg Decompress Time:    0

                  Avg Compress Time:      0

                  Extra CP Reads:         0

                  CGs Compressed Inline:  0

                  CGs Compressed:         0

                  Compressed Blocks:      0

                  Uncompressed Blocks:    0

                  New Partial CG Writes:  0

                  Decompress Disk Bad:    0

                  Decompress SW Bad:      0

                  Compression Attempts:   0

                  Compression Failures:   0

                  Poor Compression Ratio: 0

                  Shared Blocks Skipped: 0

                  Snapshot Blocks Skipped: 0

                  Un-Flushed Change Logs: 1547

  • Re: Проблема с дедупликацией после удаления клона
    INVESTSTROY15 Sprinter
    Currently Being Moderated

    Напишу чем всё закончилось.

     

    Проблема самоустранилась после создания нового клона и больше не повторялась после его удаления.

     

    Как говорится, клон клоном вышибают.

More Like This

  • Retrieving data ...

Legend

  • Correct Answers - 10 points
  • Helpful Answers - 5 points