32 Replies Latest reply: Oct 31, 2013 4:12 AM by NEWSMEDIA RSS

client Indexing on netapp FAS2240 4

NEWSMEDIA
Currently Being Moderated

Привет,    FAS2240 4  как файлохранилка, OS Version: 8.1.2 7-MODE

появилась такая  проблема. заметили что при удалении файлов в среднем размером 500г, проц грузиться на 100 %

написали в саппорт, сбросили perfstat. они нашли пару записей о том что есть пользователи у которых ops/s большой а r и w нулевые. и сказали что проблема в индексации на клиентах

ops/s reads(n, KB/s) writes(n, KB/s) suspect/s IP Name

906 | 0 0 | 0 0 | 0 | ....

 

Digging into the exact operations, we can see that the “query_path_info_ops” make up the majority of those meta operations.

cifs_ops:vfiler0:get_attr_ops:59

cifs_ops:vfiler0:set_attr_ops:0

cifs_ops:vfiler0:get_attr_ext_ops:0

cifs_ops:vfiler0:set_attr_ext_ops:0

cifs_ops:vfiler0:query_fs_info_ops:3251

cifs_ops:vfiler0:query_path_info_ops:618357

cifs_ops:vfiler0:set_path_info_ops:0

cifs_ops:vfiler0:query_file_info_ops:7047

cifs_ops:vfiler0:set_file_info_ops:3474

cifs_ops:vfiler0:query_disk_info_ops:0

cifs_ops:vfiler0:query_ntap_ext_attr_ops:0

cifs_ops:vfiler0:set_ntap_ext_attr_ops:0

 

У нас 80 % mac и я не нашел чтобы spotlight индексировал сетевые папки

20 % win xp,7,8, у которых windows search не индексирует сетевые папки тоже, отключали windows search полностью, проблема не уходит

 

Может кто-нибудь встречался с данной проблемой? и может помочь в решении?

буду очень рад хоть каким-нибудь размышлениям, спасибо

  • Re: client Indexing on netapp FAS2240 4
    INVESTSTROY15
    Currently Being Moderated

    Снять дамп pktt и проанализировать трафик.

  • Re: client Indexing on netapp FAS2240 4
    GERA.SUKHOV
    Currently Being Moderated

    У нас 80 % mac и я не нашел чтобы spotlight индексировал сетевые папки

    Не нашел где явно выключить или проверил на всех и убедился, что везде выключено?

    А определить у каких конкретно пользователей возникает такой характер запросов (ops/s большой а r и w нулевые) к СХД невозможно?

    • Re: client Indexing on netapp FAS2240 4
      NEWSMEDIA
      Currently Being Moderated

      Честно. по mac  посмотрел что нету индексации сетевых дисков на нескольких машинах и все

      Так как определить какой пользователь можно через cifs top

      как раз эта вырезка от туда

      ops/s reads(n, KB/s) writes(n, KB/s) suspect/s IP Name

      906 | 0 0 | 0 0 | 0 | ....

      и пользователей которые показывают такие результаты как раз на винде,

      Тут больше интересует то что о подобной проблеме нашел в интернете не много инфы. и больше хотелось спросить не сталкивался ли никто с этой проблемой. у нас пока не более 100 юзеров пользуют это, но изза этой проблемы не можем ввести в продакшеню поэтому написал сюда.

      Сейчас копируются файлы которые буду удалять и проверять, включу perfstat и как посоветовали сделаю pktt дамп. и буду вычислять клиентские машинки. Да это очень похоже на индексацию. тем более что такие действия происходят при удалении. соответственно изменяется структура каталогов

      вот еще листинг

      cifs top

      ops/s  reads(n, KB/s) writes(n, KB/s) suspect/s   IP              Name

        2556 |      0 0 |       0     0 | 0 | windows 2008      robo

        1260 |     76 4497 |    1183  4927 | 0 |

      столько ops набрал робот который просто просматривает папки. а индексация на windows 2008 отключена по умолчанию. там даже пакет winsows search по умолчанию не стоит

      и отключении индексации на клиентах ситуация не меняется когда пользователи ходят по папкам они набирают по 300-700 ops 

      ________________________________________

      Проделал процедуру снова

      как только начинается удаление. в этот раз удалял 80 гб . скорость сначала нормальная потом начинает резко падать,  проц сразу подскакивает до сотни при этом cifs top не показывает каких-то больших ops/s максимальная одного пользователя не превышает 500 . ито это пользователя который удаляет

      но проц сразу подскакивает на 100 и все начинает лагать, точно никто с этим не сталкивался?у вас все нормально у удалением?

      также делал  pktt dump но ничего подозрительно не нашел операции чтения записи . что может говорить об индексации так и не понял

      12070.221523ipipSMB232Trans2 Request, QUERY_PATH_INFO, Query File Standard Info, Path: \archive2\old\#\320\273\321\216\320\264\320\270\\320\227\320\260\321\200\320\261\321\203\320\266\320\265\320\275\321\213\320\265\sen_hun
      12080.221606ipipSMB142Trans2 Response, QUERY_PATH_INFO

      если только это . но как понимаю это не то.

      Хотя уже усомнился в варианте который выдвинула техподдержка что дела в индексации

      при просмотре perfstat  cifs top не показывает ничего военного

      • Re: client Indexing on netapp FAS2240 4
        NEWSMEDIA
        Currently Being Moderated

        Как выяснилось проблема не в индексах, и техподдержка это признала после 5 дней переписки , отсылки perfstat и pktt дампов. но так вразумительно ничего не сказали

        Народ может у кого была подобная проблема при удалении?

        sysstat -s -u 1

        CPU   Total Net   kB/s    Disk   kB/s Tape   kB/s  Cache  Cache    CP  Disk

        ops/s      in    out read  write    read  write age    hit  time  ty  util

        98% 1780     426   1015   17120 16044       0 0    11     94%  100% :   100%

        97% 204      51     93 16310  20102       0 0    11 93%  100%  :   100%

        99% 253      71     56 16430  14041 0      0    11 93%  100%  :   100%

        99% 126      46     93 14543     12 0      0    11 92%   32%  :    99%

        99% 752     204    240 11643     24 0      0 11     95%    0%  - 92%

        99% 345      87    589 12658      0 0      0    11 95%    0%  -    90%

        99% 179      50     64 11160      0 0      0    11 95%    0%  -    90%

        99% 273      70    109 10300     31 0      0    11 95%    0%  -    84%

        97% 252      77     93 11036      8 0      0    11 95%    8%  H    82%

        71% 929     251    314   12262 84508       0 0    11     96%  100% :    64%

        87% 490     851    134   11478 6716 0      0    11 96%   88%  :    96%

        98% 285      75    111 15587      0 0      0    11 97%    0%  -    98%

        98% 301     827   1624 13689      8 0      0    11 97%    0%  -    94%

        99% 161      53    598 9572     24 0      0    11 96%    0%  -    84%

        99% 517     136    144 8667      0 0      0    11 96%    0%  -    76%

        99% 385     136    824 9536      0 0      0    11 96%    0%  -    80%

        99% 546     161   1413 11881     24 0      0    11 96%    0%  -    93%

        46% 236      71    111 11218  79313 0      0    11 96%   96%  H    65%

        99% 113      43 46    8190 47       0 0    11     96%   15% :    85%

        CPU   Total Net   kB/s    Disk   kB/s Tape   kB/s  Cache  Cache   CP  Disk

        ops/s      in    out read  write    read  write age    hit  time  ty  util

        99% 477     140    147 10211     23 0      0    11 96%    0%  -    91%

        99%     314 97    110 8561      0 0      0    11 97%    0%  -    79%

        99% 47      25 16    7305 16       0 0    11     97%    0% -    71%

        99% 108      38    101 5994     16 0      0    11 97%    0%  -    63%

        99% 53      27 31    6288 0       0 0    11     97%    0% -    70%

        99% 294      80    123 5934     23 0      0    11 97%    0%  -    61%

        99% 22      52 12    5915 0       0 0    11     97%    0% -    51%

        95% 10 19     24 5574      0 0      0    11 97%    5%  H    47%

        84% 13      15     15 18134  62162 0      0    11 97%  100%  :    59%

        93% 78      31 19    6115  17520 0      0    11 97%   90%  :    58%

        92% 9      25     58 7615      0 0      0    11 96%    0%  -    65%

        87% 10      41 10    6413 24       0 0    11     96%    0% -    57%

        90% 12      19 54    7746 0       0 0    11     96%    0% -    67%

        88% 27      19 11    6546 8       0 0    11     96%    0% -    60%

        89% 7      15     39 5460     24 0      0    11     97% 0%  -    48%

        71% 26      24 10    5059 0       0 0    11     97%    0% -    46%

        sysstat -M 1

        ANY1+ ANY2+ANY3+ANY4+  AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s   CP

          77%   35% 12%    3%  33%  25%  26%  36% 45%     18% 0%      0%      5% 8%     0%    24% 53%( 40%) 3%        0% 4%    11%   8%   1%   1950 100%

        100%   40% 12%    2%  40%  32%  29%  41% 59%     20% 0%      0% 3%   4%     0% 41%     70%( 59%) 0%        0% 3%    10%   8%   1%   1516 100%

        100%   57% 21%    5%  47%  39%  36%  46% 67%     17% 0%      0% 5%   6%     0% 29%    113%( 71%) 0%        0%   3% 8%   8%   1%   1265  76%

        100%   53% 17%    4%  45%  31%  34%  43% 72%     13% 0%      0% 6%   8%     0% 26%    107%( 74%) 3%        0% 1%     7%   7%   2% 648  10%

          79%   36% 13%    3%  35%  30%  31%  40% 42%     20% 0%      0% 4%   8%     0% 19%     53%( 43%) 5%        0% 3%    15%   9%   5%   1631 100%

        100%   44% 13%    2%  41%  29%  30%  41% 64%     14% 0%      0% 4%   5%     0% 38%     84%( 62%) 0%        0%   2% 9%   7%   1%    931 100%

        100%   54% 17%    3%  45%  35%  35%  46% 62%     14%       0% 0%      5%   7% 0%    25%    109%( 75%) 0%        0% 2%     8%   7%   1% 850 100%

        100%   54% 17%    4%  45%  36%  38%  45% 61%     14% 0%      0% 6%   7%     0% 21%    114%( 79%)          3% 0%   1%     6%   7% 0%    590  82%

          68%   29% 10%    3%  29%  23%  24%  33% 36%     13% 0%      0%      4% 8%     0%    12% 54%( 44%) 5%        0%   2% 9%   7%   0%    897 100%

        100%   32% 7%    1%  37%  26%  25%  37% 60%     12%       0% 0%      3% 4%     0%    44% 64%( 56%) 0%        0% 1%    11%   7%   3%    594 100%

        100%   44% 13%    3%  41%  31%  29%  39% 66%     16% 0%      0% 4%   6%     0% 41%     76%( 59%)          0% 0%   3%    11%   8% 1%   1127 100%

        100%   47% 14%    3%  42%  31%  33%  40% 64%     12% 0%      0% 6%   7%     0% 23%    106%( 77%) 0%        0%   1% 7%   7%   1%    577  74%

          84%   43% 17%    5%  39%  32%  34%  41% 48%     16% 0%      0%      7%  11% 0%     7%     87%( 68%) 7%        0% 2%    11%   8%   0%   1049 75%

          93%   41% 11%    2%  38%  27%  27%  37% 60%      8% 0%      0% 5%   7%     0% 28%     87%( 61%)          2% 0%   2%     8%   4% 1%    708 100%

        100%   34% 7%    1%  36%  21%  24%  30% 70%      5% 0%      0%      4% 6%     0%    40% 77%( 60%) 0%        0% 2%     9%   3%   1% 836 100%

        100%   49% 10%    2%  41%  30%  30%  38% 66%      5% 0%      0%      5% 7%     0%    24%    111%( 76%) 0%        0% 1%     6%   3%   1% 674  81%

        ANY1+ ANY2+ ANY3+ ANY4+  AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s   CP

          99%   40% 8%    1%  38%  27%  25%  32% 66%      5% 0%      0%      5% 5%     0%    25%    101%( 73%) 0%        0% 1%     5%   3%   1% 673   0%

          98%   38% 9%    1%  37%  22%  22%  34% 71%      4% 0%      0%      5% 6%     0%    30% 94%( 68%) 0%        0% 1%     6%   2%   2% 474   0%

        100%   38% 7%    1%  37%  26%  26%  36% 61%      5% 0%      0%      4% 4%     0%    29% 96%( 71%) 0%        0% 1%     6%   3%   0% 667   0%

          83%   32% 6%    1%  31%  22%  22%  29% 52%      5% 0%      0%      3% 5%     0%    19% 75%( 57%) 7%        0% 1%     6%   3%   1% 663  46%

        100%   36% 9%    2%  37%  28%  28%  35% 60%      8% 0%      0%      4% 6%     0%    39% 75%( 61%) 0%        0% 2%    11%   4%   0%   1023 100%

        100%   50% 14%    3%  43%  32%  33%  41% 66%     15% 0%      0% 4%   5%     0% 28%    103%( 72%) 0%        0% 2%     8%   8%   1% 927 100%

        100%   46% 12%    2%  41%  32%  29%  39% 65%     14% 0%      0% 4%   4%     0% 27%    102%( 73%) 0%        0% 2%     6%   7%   1% 965  47%

        100%   43% 10%    2%  40%  29%  31%  41% 59%     13% 0%      0% 3%   3%     0% 28%     97%( 72%) 0%        0% 1%     6%   7%   0% 732   4%

          97%   36% 11%    3%  38%  27%  28%  36% 60%     13% 0%      0%      3% 5%     0%    36% 67%( 56%) 7%        0% 2%    11%   7%   1%    932 100%

        100%   39% 12%    2%  40%  31%  29%  38% 62%     17% 0%      0% 3%   4%     0% 44%     69%( 56%) 0%        0% 3%    10%   8%   1%   1619 100%

        100%   36% 10%    2%  38%  27%  28%  36% 63%     16% 0%      0% 3%   4%     0% 46%     62%( 54%) 0%        0% 3%    11%   8%   1%   1341 100%

        100%   47% 12%    2%  42%  31%  31%  43% 61%     14% 0%      0% 4%   5%     0% 26%    101%( 74%) 0%        0% 2%     8%   7%   0% 775  93%

         

        В sysstat также загрузка disk util что говорит о том что I/O работает по полной

        может это стандартная ситуация и ничего не сделаешь?

        aggr scrub status

        aggr scrub /aggr1_2a/plex0/rg0 is 89% complete (suspended)

        aggr scrub /aggr1_2a/plex0/rg1 is 92% complete (suspended)

        aggr scrub /aggr1_2a/plex0/rg2 is 90% complete (suspended)

        что насчет заполняемости  агрегатов?


        ontab 8.1.2 7 mod . думал попробовать 8.1.3 , но опять же техподдерка говорит что это не даст результата


        • Re: client Indexing on netapp FAS2240 4
          GERA.SUKHOV
          Currently Being Moderated

          Я с таким поведением на CIFS не сталкивался ни разу. Вот просто чисто идея, а не может ли быть это связано с каким-то "хитрым" режимом винды типа "надежного удаления", когда удаляемый файл перезаписывается нулями или еще какой хренью?

          А возможно ли проведение экспериментов? Я бы вот что сделал бы... Сначала вывел из домена, подключился бы рабочей станцией с каким нибудь *nix и удалил бы файл. Посмотреть, возникнет такой характер нагрузки? Если нет, то подключиться с рабочей станции винды и удалить файл. Если опять нет, то ввести в домен и посмотреть с *nix и потом винды. Последовательно исключая и меняя компоненты можно вычислить какой компонент несет ответственность за такое поведение...

          • Re: client Indexing on netapp FAS2240 4
            NEWSMEDIA
            Currently Being Moderated

            Да тоже сразу подумал что дело может быть в клиенте

            вот из под mac

            *> sysstat -M 1

            ANY1+ ANY2+ ANY3+ ANY4+ AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s CP

            100%   42% 9%    1%  45% 40%  38%  40% 64%      7% 0%      0%      3% 4%     0%    32% 95%( 68%)          0%        0% 2%     7%   4% 27%   1185  91%

              99%   38% 8%    1%  37% 25%  24%  33% 65%      5%       0% 0%      4%   4% 0%    29%     94%( 69%)          0%        0% 2%     6% 3%   1%   1036 0%

            100%   40% 9%    1%  43% 30%  30%  36% 74%      5%       0% 0%      5%   5% 0%    31%     96%( 69%)          0%        0% 2%     6%   3% 18%    848   0%

            100%   38% 6%    1%  37% 24%  26%  34% 64%      5% 0%      0%      3% 4%     0%    30% 94%( 69%)          0%        0% 2%     6%   3% 1%    850   0%

              97%   33% 5%    1%  35% 24%  22%  30% 62%      4%       0% 0%      3%   3% 0%    31%     87%( 66%)          0%        0%   1% 5%   3%   1% 656   0%

            100%   37% 7%    1%  37% 29%  28%  34% 58%      6%       0% 0%      3%   3% 0%    30%     93%( 70%)          0%        0% 2%     6%   3% 1%   1206   0%

            100%   38% 8%    1%  38% 27%  26%  36% 61%      6%       0% 0%      3%   4% 0%    31%     94%( 69%)          0%        0% 2%     6%   3% 1%   1218   0%

              95%   42% 11%    2%  38% 34%  32%  37% 50%      8%       0% 0%      4%   7% 0%    25%     87%( 64%)          6%        0% 3%     7%   4% 0%   1745  53%

            100%   40% 8%    1%  39% 29%  29%  36% 60%      6%       0% 0%      3%   5% 0%    32%     93%( 68%)          0%        0% 2%     8%   3% 2%   1093 100%

            100%   40% 9%    1%  38% 28%  27%  33% 64%      5%       0% 0%      3%   4% 0%    31%     97%( 69%)          0%        0% 2%     7%   3% 0%    758 100%

            100%   34% 6%    1%  36% 27%  26%  32% 59%      5%       0% 0%      3%   3% 0%    31%     91%( 69%)          0%        0% 2%     5%   3% 1%   1080   7%

            100%   35% 5%    1%  36% 28%  26%  33% 58%      4%       0% 0%      2%   3% 0%    31%     92%( 69%)          0%        0% 2%     5%   3% 1%    800   0%

            100%   36% 7%    1%  37% 23%  23%  32% 68%      5%       0% 0%      3%   4% 0%    31%     93%( 69%)          0%        0% 2%     6%   3% 1%    872   0%

            100%   38% 6%    1%  41% 30%  32%  38% 64%      4%       0% 0%      3%   4% 0%    30%     95%( 69%)          0%        0% 2%     6%   3% 19%    731   0%

            100%   33% 5%    1%  35% 24%  23%  32% 62%      4%       0% 0%      3%   3% 0%    30%     91%( 70%)          0%        0% 1%     5%   3% 1%    641   0%

              99%   33% 5%    1%  35% 23%  24%  29% 63%      5%       0% 0%      2%   3% 0%    30%     90%( 68%)          0%        0% 2%     5%   3% 1%    902   0%

            100%   36% 7%    1%  37% 28%  25%  33% 61%      7%       0% 0%      3%   4% 0%    30%     92%( 70%)          0%        0% 2%     6%   4% 1%    893   0%

              79%   35% 11%    2%  32% 26%  24%  32% 48%      7%       0% 0%      4%   8% 0%    19%     71%( 51%)          6%        0% 2%     8%   4% 1%    786  98%

            100%   36% 7%    1%  37% 23%  22%  33% 69%      3%       0% 0%      3%   5% 0%    32%     91%( 68%)          0%        0% 1%     8%   2% 2%    546 100%

            ANY1+ ANY2+ ANY3+ ANY4+ AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s CP

            100%   40% 8%    1%  39% 30%  28%  33% 66%      7%       0% 0%      3%   4% 0%    31%     93%( 69%)          0%        0% 3%     7%   4% 5%   1377  96%

            100%   34% 6%    1%  36% 24%  22%  29% 68%      5%       0% 0%      3%   3% 0%    30%     91%( 70%)          0%        0% 2%     5%   3% 1%    889   0%

            100%   38% 7%    1%  37% 24%  24%  34% 67%      6%       0% 0%      3%   4% 0%    30%     94%( 70%)          0%        0% 1%     6%   4% 1%    721   0%

            100%   35% 6%    1%  36% 24%  24%  33% 64%      5%       0% 0%      3%   3% 0%    31%     92%( 69%)          0%        0% 1%     6%   3% 0%    670   0%

            -2-a*> sysstat -s -u 1

            CPU   Total Net   kB/s    Disk kB/s    Tape   kB/s Cache  Cache    CP CP  Disk

                   ops/s      in out    read  write read  write    age hit  time  ty util

            99%     797 278   9422   11616 20403       0 0    12     95% 100%  :    37%

            99%     721 250   7910   12023 17427       0      0 12     97%  100% :    59%

            100%     945     320 9929   16978     12 0      0    12 98%    3%  : 71%

            100%     829     235 8121   16967      0 0      0     1s 98%    0%  - 75%

            99%     885 227   7890   14281 31       0      0 1s    98%    0% -    75%

            99%     870 239   7885   14118 0       0      0 1s    98%    0% -    60%

            97%     946 300   9202   15098 0       0      0 1s    97%    0% -    59%

            99%     915 283   8046   13437 24       0      0 1s    98%    0% -    61%

            99%     812 230   8473   12162 0       0      0 12     98%   11% H    49%

            83%     995 354  10451   19360 49757       0      0 12     96%  100% :    50%

            99%     808 233   7667   13973 19953       0      0 12     97%  100% :    55%

            99%     823 560   8918   12402 15425       0      0 12     98%   91%  :    65%

            99%    1139 478   7169   11858 0       0      0 12     98%    0% -    50%

            98%     743 319   9552   14681 23       0      0 12     97%    0% -    55%

            99%    1199 318   8899   11847 8       0      0 12     97%    0% -    51%

            99%     519 231   9637   16194 0       0      0 12     97%    0% -    57%

            99%    1056 291   9658   15083 24       0      0 0s    97%    0% -    56%

            99%     520 235   9835   14694 0       0      0 0s    97%    0% -    45%

            86%     647 234   7878   11897 17913       0      0 0s    98%   29% H    46%

            CPU   Total Net   kB/s    Disk kB/s    Tape   kB/s Cache  Cache    CP CP  Disk

                   ops/s      in out    read  write read  write    age hit  time  ty util

            99%     593 239   9716   22033 48117       0      0 0s    97%  100% :    60%

            99%     475 130   6806   12783 19798       0      0 0s    97%   93% :    54%

            99%     491 201   8696   13164 0       0 0     0s    97% 0%  -    44%

            96%     470 140   7168   13092 24       0      0 0s    97%    0% -    56%

            • Re: client Indexing on netapp FAS2240 4
              GERA.SUKHOV
              Currently Being Moderated

              Сергей, я верю, что с разных клиентов может быть одинаковый результат. :-) Я не являюсь большим спецом в винде, поэтому сразу предложил исключить из домена. Вдруг это доменными политиками задается... Хорошо бы еще и создать другую шару и на ней проводить последовательные эксперименты. :-)

            • Re: client Indexing on netapp FAS2240 4
              NEWSMEDIA
              Currently Being Moderated

              Я грешу на какие-то настройки. читаю по форумам в основном такие проблемы были на 7-й версии / и лечилась все апдейтами до 8.1.1  но у нас 8.1.2

              Техподдержка долго твердила про индексацию, потом признала что проблема не в ней

              а потом написали что )

               

              Meta data work is very CPU intensive, so it is not very surprising that your CPU is running a bit high. This coupled with the large amount of file deletions are causing the CPU to appear to be maxing out.

              In general, if you are not seeing a latency problem, then you can ignore the high CPU. We use the CPU as a second level metric, meaning we only look at it once we have established there is a problem on the user end.

              That being said, if you would like to decrease the CPU load, then you should look into what might be sending so many “other” ops to the filer and make sure you do not delete large amounts of files at once time.

               

              все бы было хорошо но во время удаления пользователи тормоза хорошенько ощущают. просто с такой фигней не получается ввести хранилку в продакшен, а на ней не включена ни дупликация ни снэпмиррор и пользователей всего 60, а что будет потом

               

              _________________

              Удалял из тестовой шары тот же результат

              Спасибо как раз и нужен свежий взгляд и идеи) так как начинаю заходить в тупик)

              • Re: client Indexing on netapp FAS2240 4
                GERA.SUKHOV
                Currently Being Moderated

                Упс! Чет я стормозил и только сейчас обратил внимание... А размер файла натурально 500GB или это описка?

                • Re: client Indexing on netapp FAS2240 4
                  NEWSMEDIA
                  Currently Being Moderated

                  ой сорри описка . один ноль лишний. и речи идет о суммарном размере файлов

                  при удалении 50 гб инфы процесс длится  минут 5 и проц грузиться на 100 % 

                  • Re: client Indexing on netapp FAS2240 4
                    GERA.SUKHOV
                    Currently Being Moderated

                    Ага, значит Вы удаляете каталог размером 50GB. И сколько в нем файлов? Какой средний размер файла?

                    • Re: client Indexing on netapp FAS2240 4
                      NEWSMEDIA
                      Currently Being Moderated

                      Сейчас удалял папку 2 гб  около 20 файлов с mac os

                       

                      CPU   Total     Net kB/s    Disk   kB/s Tape   kB/s  Cache Cache    CP  CP Disk

                      ops/s  in out    read  write read  write    age hit  time          ty                     util

                      55%    5736 44661  45106   52148 87068       0      0 8     99%   97%  H 39%

                      49%    6179 45598  56814   32504 34168       0      0 8    100%   91% :    36%

                      47%    5358 44628  43275    4880 73852       0      0 8    100%   67% H    24%

                      34%    5572 12260  47591    1392 41800       0      0 8    100%  100% :    15%

                      26%    4246 7289  44894     196 6512       0      0 8    100%   21% :     8%

                      30%    4740 7331  48713     168 24       0      0 8    100%    0%  -     6%

                      26%    4051 6455  46293     220 0       0      0 8    100%    0% -     6%

                      30%    4739 6921  47624     116 8       0      0 8    100%    0% -     5%

                      29%    4478 7443  46397     132 24       0      0 8    100%    0% -     7%

                      30%    4924 7396  47657     144 0       0      0 8    100%    0% -     7%

                      94%    2431 3478  22325   10520 0       0      0 8     97%    0% -    89%

                      86%    2267 3925  28792   20195 30133       0      0 8     97%   95% H    75%

                      99%    2195 3298  21845   12239 19906       0      0 8     97%  100% :    84%

                      99%    1766 3198  18243    9172 19969       0      0 8     97%  100% :    69%

                      99%    2641 3282  20356   11404 20765       0      0 8     98%  100% :    90%

                      99%    3415 3238  23636    8863 20629       0      0 8     98%  100% :    83%

                      98%    2256 4671  20063    9462 24       0      0 9     98%   18% :    90%

                      80%    5193 43960   5822   14766 63142       0 0     9     95% 44%  H    61%

                      76%    4637 45136  28588   22825 42266       0      0 9     98%   56% :    54%

                      64%    4379 45603  37985    3964 68320       0      0 9     99%   67% H    39%

                       

                      загрузка успела подняться до 99

                      _________________

                      при копировании все хорошо. при удалении проц и I/O прыгают мгновенно

                       

                      Вот тут https://communities.netapp.com/thread/22676?start=75&tstart=0

                      долгие разбирательства по похожему вопросу

                      • Re: client Indexing on netapp FAS2240 4
                        GERA.SUKHOV
                        Currently Being Moderated

                        У меня FAS2020 DOT 7.3.7 Вот сейчас взял, создал каталог, накидал туда хренову кучу всяких файлов общим объемом 3,5GB, а затем его грохнул. Удаление проходило около 20 секунд. Загрузка в файле (sysstat -x 1). Хранилка в домене. Все действия проводил под доменной учеткой с Mac OS.

                        В отличии от Вашего случая у меня куча небольших файлов (около 1000). Все работает зашибись. :-)

                        • Re: client Indexing on netapp FAS2240 4
                          NEWSMEDIA
                          Currently Being Moderated

                          Тут как раз дело в os 7

                          вот здесь очень плюются по поводу 8.1.x

                          https://communities.netapp.com/thread/22676?start=75&tstart=0

                          У меня не большой опыт с netapp так что большое спасибо за тесты! очень актуально

                          система была изначально настроена и введена

                          всего две хранилки шустрая для vmware там все хорошо и медленная для cifs

                          на обоих контроллерах при удалении такие же проблемы вот стат со второго

                          sysstat -M 1 

                          ANY1+ ANY2+ ANY3+ ANY4+ AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s CP

                            19%    5% 1%    0%   7% 6%   5%   5% 10%      2%       0% 0%      1%   2% 0%     7%      7%( 5%)          0%        0% 1%     4%   2% 1%    629   0%

                            19%    3% 1%    0%   6% 4%   4%   5% 12%      2%       0% 0%      2% 2%     0%    10% 5%(  5%)          0%        0% 1%     2%   2% 1%    496   0%

                            83%   16% 2%    0%  26% 11%   9%  16% 68%      2%       0% 0%      2%   3% 0%    44%     38%( 37%)          0%        0% 1%    10%   2% 1%    408   0%

                            92%   17% 2%    0%  29% 11%  12%  17% 75%      2%       0% 0%      3%   3% 0%    49%     43%( 42%)          0%        0% 1%    11%   2% 1%    365   0%

                            93%   19% 3%    0%  29% 11%  12%  16% 78%      2%       0% 0%      3% 3%     0%    50% 43%( 41%)          0%        0% 2%    11%   2% 1%    534   0%

                            98%   18% 3%    0%  30% 12%  14%  19% 77%      2%       0% 0%      3%   3% 0%    52%     47%( 45%)          0%        0% 1%    11%   2% 1%    401   0%

                          100%   15% 2%    0%  30% 11%  11%  18% 78%      1%       0% 0%      2%   3% 0%    52%     49%( 48%)          0%        0% 0%    10%   1% 1%    125   0%

                            72%   20% 3%    1%  24% 14%  13%  20% 49%      1%       0% 0%      3% 5%     0%    27% 48%( 39%)          3%        0% 0%     9%   1% 1%     15  50%

                            99%   45% 12%    2%  40% 24%  27%  38% 71%      1%       0% 0%      7%  13% 0%    33%     86%( 64%)          0%        0% 0%    17%   2% 1%     89 100%

                          100%   48% 7%    1%  41% 31%  26%  36% 70%      1%       0% 0%      5%   6% 0%    34%     99%( 66%)          0%        0% 0%    10%   2% 6%     84  46%

                          100%   45% 6%    1%  39% 25%  23%  33% 73%      1%       0% 0%      5%   5% 0%    37%     95%( 63%)          0%        0% 0%    10%   1% 1%     73   0%

                          100%   42% 7%    1%  38% 23%  24%  33% 71%      1%       0% 0%      6%   6% 0%    35%     91%( 65%)          0%        0% 1%    10%   2% 1%    142   0%

                            99%   45% 9%    1%  39% 26%  27%  34% 70%      1%       0% 0%      5%   5% 0%    35%     97%( 64%)          0%        0% 1%    11%   1% 0%    125   0%

                            82%   39% 7%    1%  33% 22%  23%  32% 54%      2%       0% 0%      5%   7% 0%    24%     77%( 53%)          1%        0% 1%    12%   2% 1%    300  35%

                            56%   17% 3%    0%  20% 13%  14%  21% 30%      1%       0% 0%      3%   6% 0%    15%     34%( 28%)          5%        0% 0%    12%   1% 1%     38 100%

                          ANY1+ ANY2+ ANY3+ ANY4+ AVG CPU0 CPU1 CPU2 CPU3 Network Protocol Cluster Storage Raid Target Kahuna WAFL_Ex(Kahu) WAFL_XClean SM_Exempt Cifs Exempt Intr Host  Ops/s CP

                          100%   43% 8%    1%  38% 27%  26%  34% 66%      1%       0% 0%      4%   7% 0%    34%     89%( 66%)          0%        0% 1%    15%   2% 1%    206 100%

                            95%   38% 6%    1%  36% 22%  22%  30% 68%      2%       0% 0%      4%   5% 0%    31%     85%( 64%)          0%        0% 1%    12%   2% 1%    348  54%

                            98%   36% 6%    1%  35% 21%  21%  31% 68%      1%       0% 0%      4%   5% 0%    36%     81%( 62%)          0%        0% 1%    12%   1% 1%    135   0%

                          100%   43% 7%    1%  38% 26%  28%  33% 67%      1%       0% 0%      4%   5% 0%    33%     95%( 66%)          0%        0% 0%    12%   1% 1%     49   1%

                            85%   38% 10%    2%  34% 25%  24%  31% 55%      1%       0% 0%      5%  11% 0%    29%     67%( 49%)          5%        0% 0%    17%   1% 1%     40  99%

                          100%   46% 7%    1%  39% 29%  29%  34% 64%      1%       0% 0%      4%   5% 0%    33%     99%( 67%)          0%        0% 0%    12%   2% 1%     84   0%

                          netapp-2-b*> sysstat -x 1 

                          CPU    NFS CIFS   HTTP   Total Net   kB/s    Disk kB/s    Tape   kB/s Cache  Cache    CP CP  Disk   OTHER FCP  iSCSI     FCP kB/s   iSCSI   kB/s

                                                                 in    out read  write    read write    age    hit time  ty  util                            in    out in    out

                          99%      0 116      0     116 70     25   13340 30349       0      0 2     95%   60% :    97%       0 0      0       0 0       0      0

                          99%      0 173      0     176 70     36   10512 0       0      0 2     95%    0% -    97%       3 0      0       0 0       0      0

                          99%      0 181      0     181 76     38   10142 0       0      0 2     95%    0% -    86%       0 0      0       0 0       0      0

                          80%      0 118      0     118 52     26   15831 39198       0      0 2     95%   45%  Hf   86% 0      0      0 0      0       0 0

                          99%      0 73      0      73 25     20    7631 27130       0      0 2     95%   48% :    81%       0 0      0       0 0       0      0

                          99%      0 125      0     125 39     27 8146      8       0 0     2     95% 0%  -    82% 0      0      0 0      0       0 0

                          99%      0 100      0     103 54     21    8385 24       0      0 2     95%    0% -    94%       3 0      0       0 0       0      0

                          99%      0 86      0      86 34     18    9190 0       0      0 2     95%    0% -    88%       0 0      0       0 0       0      0

                          90%      0 33      0      33 33      7   26455 62368       0      0 2     95%   52% Hf   86%       0 0      0       0 0       0      0

                          99%      0 152      0     152 44     34    9160 9354       0      0 2     95%   36% :    87%       0 0      0       0 0       0      0

                          99%      0 164      0     165 65     34    9528 8       0      0 2     95%    0% -    87%       1 0      0       0 0       0      0

                          99%      0 161      0     170 44     31    9715 0       0      0 2     95%    0% -    84%       9 0      0       0 0       0      0

                          99%      0 205      0     290 61     44   10063 24       0      0 2     95%    0% -    91%      85 0      0       0 0       0      0

                          78%      0 101      0     101 31     21   28522 72337       0      0 2     95%   90% Hv   83%       0 0      0       0 0       0      0

                          99%      0 155      0     155 59     29    9576 24       0      0 2     95%    5% :    89%       0 0      0       0 0       0      0

                          99%      0 153      0     155 44     29    8897 31       0      0 2     96%    0% -    80%       2 0      0       0 0       0      0

                          99%      0 195      0     200 76     37    8497 0       0      0 2     96%    0% -    74%       5 0      0       0 0       0      0

                          88%      0 338      0     338 83     71   23653 15271       0      0 2     96%   30% Hf   75%       0 0      0       0 0       0      0

                          98%      0 241      0     395 81     50   11594 54682       0      0 2     96%   40% :    77%     154 0      0       0 0       0      0

                          CPU    NFS CIFS   HTTP   Total Net   kB/s    Disk kB/s    Tape kB/s  Cache  Cache CP  CP  Disk OTHER    FCP  iSCSI FCP   kB/s   iSCSI kB/s

                                                                 in    out read  write    read write    age    hit time  ty  util                            in    out in    out

                          99%      0 107      0     184 34     22    8181 0       0      0 10s    95%    0% -    78%      77 0      0       0 0       0      0

                          99%      0 120      0     120 40     27    8649 8       0      0 10s    95% 0%  -    77% 0      0      0 0      0       0 0

                      • Re: client Indexing on netapp FAS2240 4
                        GERA.SUKHOV
                        Currently Being Moderated

                        Вот попробовал другой вариант. Каталог 6GB. В нем 8 файлов. Процесс удаления даже не смог замерять. Но по sysstat видно, что повышение нагрузки длилось в районе минуты 20 сек. Но ~40% это не ахти как много. И уж 2020 ни в какое сравнение не идет с 2240...

                        А какая у вас дисковая конфигурация под шарой лежит? У меня 9 SATA дисков в одной RAID-DP.

                        • Re: client Indexing on netapp FAS2240 4
                          NEWSMEDIA
                          Currently Being Moderated

                          У меня 24 диска sata , найти бы кого-нибудь с той же прошивкой  и узнать бы что все ок, тогда бы освободил бы один контроллер и перенастроил. тем более что настраивал не я

                          Народ если у кого подобная конфигурация FAS 2240 4 8.1.2 откликнитесь плиз есть ли подобная проблема с удалением файлов ?

                          • Re: client Indexing on netapp FAS2240 4
                            GERA.SUKHOV
                            Currently Being Moderated

                            Очень неудобочитаемый вывод в форме. Лучше в текстовый файлик кидать.

                            DOT 8.1 не эксплуатировал и даже не пробовал. Из того функционала, который оказался востребованным у клиентов DOT 8.0.5 оказалась самое то. :-) И там тоже все работает. Не проверял, но если бы что-то подобное было, то уже бы сообщили давно.

                          • Re: client Indexing on netapp FAS2240 4
                            INVESTSTROY15
                            Currently Being Moderated

                            У нас 2240-2 HA с  полкой на 24 SATA, DOT 8.1.3P1, таких проблем не наблюдал.

                            Десятки тысяч файлов и просто десятки ГБ копируются и удаляются без излишней нагрузки на обоих контроллерах.

                             

                            Проверь, не включено ли cifs.smb2.signing.required, эта опция создаёт 100% нагрузку на CPU и ограничивает скорость до 35МБ/с.

                            • Re: client Indexing on netapp FAS2240 4
                              NEWSMEDIA
                              Currently Being Moderated

                              у меня на обоих контроллерах таже проблема

                              опция отключена

                              Дело в том что изначально настраивал не я. мы можем сравнить наши настройки? у тебя настроен CIFS? какие свои настройки я могу показать ? какими командами?

                              2-a*> options cifs

                              1. cifs.LMCompatibilityLevel    1
                              2. cifs.W2K_password_change     off
                              3. cifs.W2K_password_change_interval 4w        
                              4. cifs.W2K_password_change_within 3600h     
                              5. cifs.audit.account_mgmt_events.enable off       
                              6. cifs.audit.autosave.file.extension           
                              7. cifs.audit.autosave.file.limit 0         
                              8. cifs.audit.autosave.onsize.enable off       
                              9. cifs.audit.autosave.onsize.threshold 75%       
                              10. cifs.audit.autosave.ontime.enable off       
                              11. cifs.audit.autosave.ontime.interval 1d        
                              12. cifs.audit.enable            off       
                              13. cifs.audit.file_access_events.enable on        
                              14. cifs.audit.liveview.allowed_users           
                              15. cifs.audit.liveview.enable   off
                              16. cifs.audit.logon_events.enable on        
                              17. cifs.audit.logsize           1048576   
                              18. cifs.audit.nfs.enable        off       
                              19. cifs.audit.nfs.filter.filename           
                              20. cifs.audit.saveas            /etc/log/adtlog.evt
                              21. cifs.bypass_traverse_checking on        
                              22. cifs.client.dup-detection    ip-address
                              23. cifs.comment                           
                              24. cifs.enable_share_browsing   on
                              25. cifs.gpo.enable              off       
                              26. cifs.gpo.trace.enable        off       
                              27. cifs.grant_implicit_exe_perms off       
                              28. cifs.guest_account                     
                              29. cifs.home_dir_namestyle                
                              30. cifs.home_dirs_public_for_admin on        
                              31. cifs.idle_timeout            900       
                              32. cifs.ipv6.enable             off       
                              33. cifs.max_mpx                 1124      
                              34. cifs.ms_snapshot_mode        xp        
                              35. cifs.netbios_aliases                   
                              36. cifs.netbios_over_tcp.enable on        
                              37. cifs.nfs_root_ignore_acl     off
                              38. cifs.oplocks.enable          on        
                              39. cifs.oplocks.opendelta       0         
                              40. cifs.per_client_stats.enable on        
                              41. cifs.perfmon.allowed_users             
                              42. cifs.perm_check_ro_del_ok    off
                              43. cifs.perm_check_use_gid      on
                              44. cifs.preserve_unix_security  off
                              45. cifs.restrict_anonymous      0
                              46. cifs.restrict_anonymous.enable off       
                              47. cifs.save_case               on        
                              48. cifs.scopeid                           
                              49. cifs.search_domains                    
                              50. cifs.show_dotfiles           on        
                              51. cifs.show_snapshot           off       
                              52. cifs.shutdown_msg_level      2
                              53. cifs.sidcache.enable         on        
                              54. cifs.sidcache.lifetime       1440      
                              55. cifs.signing.enable          off       
                              56. cifs.smb2.enable             off       
                              57. cifs.smb2.signing.required   off
                              58. cifs.smb2_1.branch_cache.enable off       
                              59. cifs.smb2_1.branch_cache.hash_time_out 3600       (value might be overwritten in takeover)
                              60. cifs.snapshot_file_folding.enable off       
                              61. cifs.symlinks.cycleguard     on
                              62. cifs.symlinks.enable         on        
                              63. cifs.trace_dc_connection     off
                              64. cifs.trace_login             off       
                              65. cifs.universal_nested_groups.enable on        
                              66. cifs.widelink.ttl            10m   
                              • Re: client Indexing on netapp FAS2240 4
                                INVESTSTROY15
                                Currently Being Moderated

                                Настройки файлеров могут и не отличаться, тогда нужно смотреть что у клиентов.

                                 

                                na02> options cifs  

                                cifs.LMCompatibilityLevel    1         

                                cifs.W2K_password_change     off       

                                cifs.W2K_password_change_interval 4w        

                                cifs.W2K_password_change_within 3600h     

                                cifs.audit.account_mgmt_events.enable off       

                                cifs.audit.autosave.file.extension           

                                cifs.audit.autosave.file.limit 0         

                                cifs.audit.autosave.onsize.enable off       

                                cifs.audit.autosave.onsize.threshold 75%       

                                cifs.audit.autosave.ontime.enable off       

                                cifs.audit.autosave.ontime.interval 1d        

                                cifs.audit.enable            off       

                                cifs.audit.file_access_events.enable on        

                                cifs.audit.liveview.allowed_users           

                                cifs.audit.liveview.enable   off       

                                cifs.audit.logon_events.enable on        

                                cifs.audit.logsize           134217728 

                                cifs.audit.nfs.enable        off       

                                cifs.audit.nfs.filter.filename           

                                cifs.audit.saveas            /etc/log/adtlog.evt

                                cifs.bypass_traverse_checking on        

                                cifs.client.dup-detection    ip-address

                                cifs.comment                           

                                cifs.enable_share_browsing   on        

                                cifs.gpo.enable              off       

                                cifs.gpo.trace.enable        off       

                                cifs.grant_implicit_exe_perms off       

                                cifs.guest_account                     

                                cifs.home_dir_namestyle                

                                cifs.home_dirs_public_for_admin on        

                                cifs.idle_timeout            900       

                                cifs.ipv6.enable             off       

                                cifs.max_mpx                 253       

                                cifs.ms_snapshot_mode        xp        

                                cifs.netbios_aliases                   

                                cifs.netbios_over_tcp.enable on        

                                cifs.nfs_root_ignore_acl     off       

                                cifs.oplocks.enable          on        

                                cifs.oplocks.opendelta       0         

                                cifs.per_client_stats.enable off       

                                cifs.perfmon.allowed_users             

                                cifs.perm_check_ro_del_ok    off       

                                cifs.perm_check_use_gid      on        

                                cifs.preserve_unix_security  off       

                                cifs.restrict_anonymous      0         

                                cifs.restrict_anonymous.enable off       

                                cifs.save_case               on        

                                cifs.scopeid                           

                                cifs.search_domains                    

                                cifs.show_dotfiles           on        

                                cifs.show_snapshot           on        

                                cifs.shutdown_msg_level      2         

                                cifs.sidcache.enable         on        

                                cifs.sidcache.lifetime       1440      

                                cifs.signing.enable          on        

                                cifs.smb2.enable             on        

                                cifs.smb2.signing.required   off       

                                cifs.smb2_1.branch_cache.enable off       

                                cifs.smb2_1.branch_cache.hash_time_out 3600       (value might be overwritten in takeover)

                                cifs.snapshot_file_folding.enable off       

                                cifs.symlinks.cycleguard     on        

                                cifs.symlinks.enable         on        

                                cifs.trace_dc_connection     off       

                                cifs.trace_login             off       

                                cifs.universal_nested_groups.enable on        

                                cifs.widelink.ttl            10m 

  • Re: client Indexing on netapp FAS2240 4
    GERA.SUKHOV
    Currently Being Moderated

    Сергей, попробуйте провести эксперимент с удалением файлов на выведенном из домена филере.

  • Re: client Indexing on netapp FAS2240 4
    Artur Alikulov
    Currently Being Moderated

    Кстати, я в приведенных выводах команды sysstat не вижу загрузки процессора на 100%. Если хотите узнать реальную загрузку процессора, то смотрите на колонку AVG в выводе sysstat -M. На колонку CPU вообще не обращайте внимания.

    • Re: client Indexing on netapp FAS2240 4
      NEWSMEDIA
      Currently Being Moderated

      т/е это загрузка одного ядра? и это нормальная картина?

      ______

      filer без домена не получиться проверить , два контроллера уже используются чуть ли не 24/7

      • Re: client Indexing on netapp FAS2240 4
        Artur Alikulov
        Currently Being Moderated

        CPU - это атавизм времен одноядерных однопроцессорных систем. Видеть там 100% - это нормально. Загрузка по ядрам: CPU0 CPU1 CPU2 CPU3 в выводе sysstat -M. Я бы на вашем месте попытался понять закономерность в появлении тормозов и найти "виновника". Выше уже советовали попробовать удаление из под разных операционных систем, с компьютерами в домене и вне домена. Можно еще посмотреть меняется ли производительность при копировании файлов из под разных систем.

  • Re: client Indexing on netapp FAS2240 4
    mikhailf
    Currently Being Moderated

    Это довольно известная проблема в предыдущих версиях OnTap. Слишком большой приоритет выделялся процессу освобождения данных. Насколько я знаю это пофиксено в новых версиях (точно в 8.1.x), но если система апгрейдилась с предыдущих версий, то старые настройки могли сохраниться. Посмотрите на http://support.netapp.com/NOW/cgi-bin/bol?Type=Detail&Display=90314 и проверьте Ваши настройки options waf.*

     

    Также рекомендую выключить aggregate snapshot (snap sched -A aggr1 0 0 0), достаточно бесполезная штука, а ресурсы (в т.ч. при удалении данных) отъедает.

    • Re: client Indexing on netapp FAS2240 4
      NEWSMEDIA
      Currently Being Moderated

      Сорри что не писал, продолжение было такое что support ответил

       

      We were able to get escalations involved in reviewing this data and were able to find that this filer looks to be hitting BURT 599967.

      This burt has to do with the large amount of file deletions that are occurring on this filer and how they are effecting it.  For more details, please see the bug page:

      http://support.netapp.com/NOW/cgi-bin/bol?Type=Detail&Display=599967

           The current action plan is to upgrade the filer to get away from this bug and reassess the performance. If the upgrade resolves the issue you are seeing, then you can reverse the troubleshooting step of disabling Indexing slowly to make sure the filer can handle the indexing requests.

      Это было очень похоже на правду и я обновился до 8.1.3

      Но к сожалению это не помогло и проблема загрузки одного ядра на 100% при удалении осталась

      Тут уже ничего не сделаешь и загрузка одного ядра не так уж и страшно, поэтому пришлось вводить в продакшен с данным глюком

More Like This

  • Retrieving data ...