25 Replies Latest reply: Jan 31, 2014 12:01 PM by aborzenkov RSS

Подключение FAS к UCS Fabric Interconnect - как?

NO-STROMO Sprinter
Currently Being Moderated

Коллеги, а существует ли какие-то best practices по подключению сториджа напрямую к Cisco Fabric Interconnect? Ноги вопроса растут вот откуда: если мы собираемся использовать NFS в качестве протокола доступа к датасторам в обычной сети (что, на мой взгляд, наиболее логично), в случае разрыва линка между сториджем и свичом LACP отработает и коннект не прервётся, а, в случае выпадения свича где-то по середине, должен сработать STP/RSTP и тоже, по идее, всё должно отработать. Но, если мы подключаем сторидж напрямую к FIC - есть ли какой-то способ обеспечить устойчивость соединения в случае, если отвалился весь FIC? Как я понял, STP, в этом случае, будет ни при чём?

  • Re: Подключение FAS к UCS Fabric Interconnect - как?
    DENISOV.NETWELL Sprinter
    Currently Being Moderated

    По дизайну FlexPod в Cisco Fabric Interconnect вообще ничего кроме Nexus не подключается, по тому что FIC не умеет vPC.

    Для того чтобы была отказоустойчивость нужны Nexus. Тогда становится все хорошо. vPC в сторону FIC, vPC в сторону NetApp и другого сетевого оборудования.

    • Re: Подключение FAS к UCS Fabric Interconnect - как?
      NO-STROMO Sprinter
      Currently Being Moderated

      Спасибо за ответ! Я сейчас покопался более тщательно и получается примерно следующее: самый минимальный Nexus 3k стоит порядка $12k в прайслисте, тогда как MDS9124 - меньше $3k (ок, он на 4Gb, но зачем больше-то?). Ариста, насколько я знаю, лежит в том же ценовом диапазоне.

      Получается, что, NFS, хоть и имеет несомненные плюсы, в виде лучшей гранулярности восстановления из снапшотов, но, учитывая цены и добавив неслабый геморрой с ручной настройкой (фактически - прибивание костылей) отказоустойчивости, получим, что NFS сильно проигрывает FC и iSCSI... Кстати, тут вообще кто-нибудь использует nfs в качестве хранилища для датасторов в продакшене? Можете оставить какие-нибудь отзывы ?

      • Re: Подключение FAS к UCS Fabric Interconnect - как?
        MIKHAILFE Sprinter
        Currently Being Moderated

        Ну настройку FC зон тоже можно считать ручной настройкой и геморроем... Я не совсем понимаю, что Вы считаете костылями.

         

        Если MDS сейчас так дешевы, то почему бы и не поиспользовать. По моему опыту FC проще корректно настроить. Нужно хорошо разбираться в сетевых технологиях для правильной реализации NFS. Хотя flexpod validated design в этом может сильно помочь.

         

        У клиента, с которым я работал, VMware автоматически означало NetApp + NFS, они даже не рассматривали FC. У каждого свои предпочтения, зависит от опыта работы с той или иной технологией. Здесь нет одного правильного решения.

        • Re: Подключение FAS к UCS Fabric Interconnect - как?
          NO-STROMO Sprinter
          Currently Being Moderated

          Касательно костылей - MPIO, это заложенный в протокол функционал, тогда как настройка чего-то похожего для NFS связана с прикручиванием к нему того, что изначально у него не было - то есть, костыли. Не могу сказать, что это так уж плохо, но как-то мне это непривычно, видимо, сказывается мой чисто блочный бэкграунд

          • Re: Подключение FAS к UCS Fabric Interconnect - как?
            MIKHAILFE Sprinter
            Currently Being Moderated

            Тогда уж VAAI для FC - это точно костыли

            И MDS switch для Cisco Fabric Interconnect, который нужен для того, чтобы можно было создавать зоны тоже выглядит довольно коряво.

            Для UCS инфраструктуры все-таки Nexus выглядит как-то более гармонично (но это на мой взгляд, не претендую на истину).

            • Re: Подключение FAS к UCS Fabric Interconnect - как?
              NO-STROMO Sprinter
              Currently Being Moderated

              >Тогда уж VAAI для FC - это точно костыли

               

              Скорее - необязательное расширение функционала

               

              >И MDS switch для Cisco Fabric Interconnect, который нужен для того, чтобы можно было создавать зоны тоже выглядит довольно коряво.

              Соглашусь, но в некоторых случаях воротить нексус избыточно. Хотя, если уж экономить, то можно и прямо к FIC поключаться по FC - как вариант.

               

              >Для UCS инфраструктуры все-таки Nexus выглядит как-то более гармонично (но это на мой взгляд, не претендую на истину).

              Да, если используется более одной-двух корзин - полностью согласен.

        • Re: Подключение FAS к UCS Fabric Interconnect - как?
          DARK_ANGEL Novice
          Currently Being Moderated

          Я может и ошибаюсь но зачем физику с логикой путать?

           

          Я к примеру изначально начал строить систему на более новых веяниях! И более быстрых. Для себя решил что будет 10GbE и NFS, iscsi только для esxi boot  и то в дальнейшем отказался. Почему, напишу ниже.

          Я взял dell poweredge-ы и dell powerconnect коммутаторы. Они оказались намного дешевле всех 10GbE аналогов. А по железным характеристикам даже лучше циски аналогов. Практически во всех цисках ширина шины меньше чем общая сумма пропускной способности портов.  Взял медные RJ45.  На пересчет  медный получается в 2 раза дешевле чем SFP+ Полной загрузки портов. Из за дороговизны самих модулей SFP+.

          Нетапы тоже взял с 10 гигабитными SFP+

           

          Каждый host подключен 2х10Gb броадком платами(кстати поверконекты тоже броадком используют чипы)  к 2 разным медным свичам и находятся в езерченеле c ласпом по витой паре 6 категории,

          Cвичи в стеке

          Каждая голова нетапа так же подключена 2мя  10-ками в разные свичи и так же объеденена в  езерченел с ласпом.

          Созданы вланы и отдельные сети для управления, трафика даты и трафика вирт машин.

          К хостам цепляются NFS хранилища!

           

          У PowerEdge красивая 4-х портовая карта есть где 2х 1GbE и 2х10GbE так вот изначально были гомадные планы использовать Езерченел из двух гигабитных интерфейсов для загрузки  по iscsi boot. Но тут наступили первые грабли. Искази бут не умеет работать с агрегацией каналов! Только с одного интерфейса.  Вторые глабли на тали после того как я не смог выделить отдельный влан в настройке карты под искази бут. Оказалось что использоваться может либо аксесс мод порта либо нейтив влан он же. Получалось что сетевая вываливалась из общей концепции.  В итоге навтыкал флешек в сервера и установил на них гипервизоры.

          Ыть прям реклама получилась дела ))

           

          Все виртуалки лежат на NFS. Ведь правильно написали берем Нетап подразумеваем NFS. NETAPP один из вдохновителей NFS.

          При том что тут невозможен мультипассинг как в искази зато -один уровень под названием VMFS.

          На очереди запуск новой 2240 с SSD И тоже будет NFS.

      • Re: Подключение FAS к UCS Fabric Interconnect - как?
        DARK_ANGEL Novice
        Currently Being Moderated

        В теории 4 гигабита хватает,  но на практике когда срочно мигрируют к примеру несколько высоконагруженных виртуалок у которых ссд кэш на борту + оперативы на 120 гиг забитых?    Вот тут нагрузиться могут сетевые.  А если происходит стораж мигрейшин ? И переместить виртуалки на другое хранилище? Каждый гигабит будет считаться.

        Незря сейчас 40GbE интерфейсом уже никого не удивишь а ценник за такой порт падает с каждым днем.

  • Re: Подключение FAS к UCS Fabric Interconnect - как?
    M.RABIDINOV Novice
    Currently Being Moderated

    Возможно использовать Cisco UCS + NetApp Direct Attached.

    Есть 2 варианта, один документирован на cisco.com

    http://www.cisco.com/en/US/prod/collateral/ps10265/ps10276/whitepaper_c11-702584.html

    http://www.youtube.com/watch?v=TNNiYTcvw8I

     

    Второй вариант, подключение крест накрест фабрик-интерконнекты с 2 FAS и объединение портов на FAS в группу в синглмод.

    ifgrp create single VIF2 e1b e1a

    таким образом, создается виртуальный VIF2, если падает один интерконнект, то поднимается второй порт - ко второму интерконнекту.

    • Re: Подключение FAS к UCS Fabric Interconnect - как?
      MIKHAILFE Sprinter
      Currently Being Moderated

      Я просмотрел гайд от Cisco, и они черным по белому говорят - не делайте этого для NAS.  Это будет работать надежно только для iSCSI. То есть похоже, что работать  конфигурация с appliance link будет, но некоторые сбои не будут корректно обработаны (см например Failure Scenario 2). То есть в целом это нерабочая конфигурация.

  • Re: Подключение FAS к UCS Fabric Interconnect - как?
    nicholas4704 CertifiedPlus Sprinter
    Currently Being Moderated

    Добрый день

    У меня есть опыт нескольких инсталяций FlexPod в том числе "почти FlexPod", который без Nexus.

    Основная причина что Nexus довольно дорог и при относительно небольших инсталяциях клиенты пытаются экономить.

    Я считаю что NFS должен работать на 10G, тогда пропадают все его недостатки. FlexPod на Nexus 3k мне не нравится из-за подключения 1G. Рекомендую обратить внимание на Nexus 3524, хотя они в Validated Design не включены пока.

     

    Мы разработали свой дизайн под "FlexPod без Nexus" как для 7-mode так и для C-mode.

    Проблема в том что в FI очень мало интелекта и cisco вообще не рассматривает их как свитчи, хотя switching mode в них есть.

    Если сервера находятся только на UCS, то достаточно еще 2 Catalyst в стэке с 2x10G портами. 10G порты подключаются в cross-stack etherchannel (аналог vPC в Nexus) к фабрикам. В Catalyst подключаются также клиенты. Замечу, что 2 свитча обязательны, даже если это не Catalyst, т.к. при 1 свитче и выходе его из строя ляжет все.

    Адаптеры UCS для NFS настраиваются таким образом, чтобы трафик не ходил через Catalyst в нормальном состоянии. Netapp подключается в FI используя single ifgrp, а не LACP, каждый линк в свою фабрику.

    Catalyst'ы нужны на случай неверной конфигурации или поломки, тогда через них пойдет storage трафик, ну и для доступа клиентов.

     

    Коллеги сторили подобную систему на Brocade свичах... требования те же - стэк и по 2x10G портов в каждом свиче.

    Надеюсь это поможет.

     

    Nick

    • Re: Подключение FAS к UCS Fabric Interconnect - как?
      MIKHAILFE Sprinter
      Currently Being Moderated

      Хочу разобраться. Если NetApp подключен к FI с single-mode ifgrp, что произойдет если, к примеру, выйдет из строя FEX и весь траффик будет перенаправлен через Fabric B. Будет ли FI в fabric A достаточно умным, чтобы положить порты, соединенные с NetApp, чтобы ifgrp интерфейс переключился на другой интерфейс?

      • Re: Подключение FAS к UCS Fabric Interconnect - как?
        nicholas4704 CertifiedPlus Sprinter
        Currently Being Moderated

        Добрый

        В случае выхода из строя Fabric Extender переключения Fabric Interconnect не происходит. Это логично, т.к. экстендеров может быть несколько. Порты серверов перебрасывются на другую фабрику скажем из FI-A в FI-B и трафик из портов серверов идет в FI-B потом в Nexus (Catalyst) и обратно в FI-A, куда подключен Netapp. Netapp Single ifgrp нужен на случай выхода из строя самого FI.

        Nick

        • Re: Подключение FAS к UCS Fabric Interconnect - как?
          MIKHAILFE Sprinter
          Currently Being Moderated

          Спасибо, становится более понятно. То есть по сравнению с каноническим flexpod, когда NetApp подключается к Nexus, просто будет чуть более кривой маршрут трафика в случае разных поломок?

          Ну и еще single-mode ifgrp все-таки менее надежная штука, чем lacp. У клиента как-то подвис Nexus 7K, но он, собака, оставил все порты в поднятом состоянии, использовался single mod. Все встало до тех пор, пока ему питание не вырубили... Худший сбой из всех...

          • Re: Подключение FAS к UCS Fabric Interconnect - как?
            aborzenkov Grand Marshal
            Currently Being Moderated

            Теоретически single mode использует активную проверку доступности (broadcast со всех физических интерфейсов) и должен был бы такую ситуацию отловить. Хотя если перестали работать все интерфейсы, то тут не понятно, как помог бы и LACP.

            • Re: Подключение FAS к UCS Fabric Interconnect - как?
              nicholas4704 CertifiedPlus Sprinter
              Currently Being Moderated

              Добрый

               

              Поделитесь, где видели, что теоретически single ifgrp полагается на Broadcast или какой-нибудь beacon probing?

              Я всегда думал, что он реагирует только на link down.

               

              Nick

              • Re: Подключение FAS к UCS Fabric Interconnect - как?
                aborzenkov Grand Marshal
                Currently Being Moderated

                В документации видел … ☺

                 

                If a single-mode interface group spans over multiple switches, you must connect the switches with an

                inter-switch link (ISL). For a single-mode interface group, the switch ports must be in the same

                broadcast domain (for example, a LAN or a VLAN). Link-monitoring ARP packets, which have a

                source address of 0.0.0.0, are sent over the ports of a single-mode interface group to detect whether

                the ports are in the same broadcast domain.

                • Re: Подключение FAS к UCS Fabric Interconnect - как?
                  MIKHAILFE Sprinter
                  Currently Being Moderated

                  То есть NetApp шлет broadcast с одного порта и ожидает его получить на другом порту. Но так невозможно сказать какой из них не работает. Если такой мониторинг действительно есть, максимум что он может сделать это вывести сообщение в лог, что что-то пошло не так...

                  Во всех источниках, что я видел утверждается, что single-mode отслеживает только состояние порта...

                  • Re: Подключение FAS к UCS Fabric Interconnect - как?
                    aborzenkov Grand Marshal
                    Currently Being Moderated

                    Плохо искали ☺

                     

                    In Data ONTAP 7.2 and earlier, single-mode vifs used each physical interface's link state to determine when to fail over. In versions later than Data ONTAP 7.2, changes were made such that the failover mechanism is controlled via each physical MAC sending and listening for a broadcast link layer heartbeat.  This was done to insure that physical links are on the same broadcast domain and also to insure failover during periods of loss of network connectivity even when link status still shows as up.

                     

                    Single Mode VIFs use a special ARP packet to monitor the viability of the member ports. Each member port sends an ARP broadcast every 5-6 seconds. The other member(s) of the single mode VIF actively listen for this ARP. If a member port does not receive the ARP broadcast of the other member ports, the Single Mode VIF is allowed to determine if the other member interface is unable to transmit, and will not choose that member interface to be the active interface. There is a secondary mechanism in place, whereby the Storage Controller is expected to monitor the currently active port for two-way traffic. In a situation where NO member interface is receiving the Link Monitor ARPs from the other member interfaces, but two-way traffic is detected on an active interface, the Storage Controller is expected to leave that interface 'up', and retain it as the 'active' member. This mechanism should work consistently in ONTAP versions 7.3.5 and higher, and versions 8.0.2 and higher

                    • Re: Подключение FAS к UCS Fabric Interconnect - как?
                      MIKHAILFE Sprinter
                      Currently Being Moderated

                      Я на лопатках

                      Единственное сомнение, которое остается - это если (в случае двух портов в ifgrp) ARP пакеты не проходят, и нет двухстороннего трафика по активному интерфейсу, нигде не сказано, что произойдет переход на второй порт.

                      Даже есть источники, где сказано, что весь vif кладется -

                      Link-monitoring ARP packets are sent over the ports of a single-mode interface group to detect whether the ports are in the same broadcast domain. If these ARP packets do not reach any of the interfaces in the interface group, the interface group is configured to the down status.

                       

                      Может быть это и произошло у клиента.

                       

                      Вообще, это замечательно, когда в форуме узнаешь чего-то новое, особенно там, где считаешь, что все знаешь

          • Re: Подключение FAS к UCS Fabric Interconnect - как?
            nicholas4704 CertifiedPlus Sprinter
            Currently Being Moderated

            Да, можно сказать "чуть более кривой маршрут". Можно продолжить мысль и сказать что с Nexus всегда чуть более кривой маршрут, т.к. трафик всегда выходит из фабрик.

            На самом деле Cisco позиционирует Fabric Interconnect как продолжение сервера, а не свитч.

            Замечу, что Fabric Interconnect поддерживает FC и туда можно воткунть в том числе и сторадж, а т.к. в FC и iSCSI используется MPIO, то отпадает большинство "проблем".

            Из-за единого дизайна FlexPod и для iSCSI и для NFS предлагается конфигурация с vPC, я бы iSCSI конфигурировал иначе, без vPC, по FC канонам.

             

            По поводу подвисания и не переключения.

            1. Мы слепо верим, что FI не подвиснет

            2. vmware не поддерживает lacp и все равно отвалится.

            3. LACP поднимается значительно медленнее, напр. при переключении кластера Нетапп,

            4. FI поддерживают LACP (вроде), и у вас есть возможность собрать  single ifgrp из двух lacp ifgrp. В пределе можно использоват LACP из 1 линка (не пробовал). На сколько помню такой конфиг single + lacp не поддерживается в c-mode.

            5. В конце концов клиент экономит, сам виноват

             

            Nick

            • Re: Подключение FAS к UCS Fabric Interconnect - как?
              MIKHAILFE Sprinter
              Currently Being Moderated

              LACP поддерживается в vSphere 5.1+ на vDS - http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=2034277

               

              Не похоже, правда, что LACP включен в flexpod CVD

               

              А что касается single-mode ifgrp over lacp ifgrp, интересно было бы попробовать, если LACP перестанет работать по обоим интерфейсам, уйдет ли lacp ifgrp в даун, и переключится ли single-mode.

              В c-mode single-mode ifgrp практически не нужны, тот же функционал реализуется с помощью failover groups, причем лучше, потому что можно настроить разные lif на использование разных интерфейсов в failover group, так что оба порта активны, в отличие от single-mode ifgrp, где только один порт активен...

More Like This

  • Retrieving data ...

Legend

  • Correct Answers - 10 points
  • Helpful Answers - 5 points