Skocz do zawartości

joe21

Użytkownicy
 Wyświetl profil  Zobacz jego aktywność

  • Zawartość

    3

  • Rejestracja

  • Ostatnio

Posty napisane przez joe21

  1. Napisano · Raportuj odpowiedź

    Mam storage 64 TB oparty na Open Media Vault. Bardzo toporny, ale działa dobrze. Sprzęt też już jest dość stary, bo to półki NetAppa FC 2 Gbps.

     

    Chciałbym storzyć coś nowego w oparciu o Ceph, którym ma zarządzać Proxmox. Ma wsparcie dla Cepha i fajnie byłoby je wykorzystać. Pytanie jakie są konsekwencje posadzienia monitorów i/lub osd na wirtualkach?

     

    Co do sprzętu to część SSD i część SATA, ale jako oddzielne przestrzenie. Raczej nie mam zamiaru inwestować w wydumane kontrolery, bo uważam to za zbędny wydatek szczególności w przypadku SSD.

     

    Toporny, ale dziala. Ceph oczywiscie by sie tu sprawdzil, ale bez znajomosci instalacji i dokladnie tego, co chce sie osiagnac wiele powiedziec nie moge.

     

    Trzeba natomiast powiedziec jedno - ceph jest obslugowy i dla 64TB nie wiem czy jest sens sie bawic. Jest to na tyle mala przestrzen, ze mozna ogarnac ja 1 polka dyskwa - 45 dyskow i dowolnym raidem, nawet 10.

  2. Napisano · Raportuj odpowiedź

    Możesz powiedzieć coś więcej na temat robienia storage opartego na Ceph z głową? Na co zwrócić uwagę, a czego unikać?

     

    Jak pisalem - zalezy do czego chcesz go wykorzystac. Znajac zastosowanie, mozna okreslic:

    - siec - 1Gbit/10Gbit/40Gbit

    - rodzaj dyskow w OSD (SATA, SATA NL, SAS, SSD)

    - podzal dyskow SSD dla journala OSD - opcja

     

    oraz sam sprzet: wielkosc budy, ilosc dyskow, typ kontrolera RAID0 + write cache lub HBA

     

    ... itd ... itp

     

    do tego dochodzi odpowiednia mapa, ilosc replik, ilosc PG itd itp. i masa innych parametrow.

     

    Jedyne co jest stale to: 1GB ramu per proces OSD oraz 1CPU (core) per proces OSD oraz sieciowka minimum 10Gbit.

     

    Ogolnie sprawa nie jest trywialna przy duzych instalacjach. Jak chcesz sie pobawic w klaster np. 10TB, mozna go do zabawy zrobic na maszynch 1U i 1Gbit. Przy wiekszych instalacjach i instalacjach produkcyjnych - tylko 10Gbit.

     

    Zasada dodatkowo jest taka, ze monitorow nie miesza sie z osd na tej samej maszynie oraz monitorow i osd nie robi sie na wirtualkach. Z czego to wynika? - dlugo by pisac.

  3. Napisano · Raportuj odpowiedź

    Ceph jest bardzo fajny - o ile jest zrobiony z glowa. Ma duzo baboli (kazda wersja) wlacznie z modulem to kernela, ale da sie z tym zyc.

    Postawilem juz kilka klastrow od 10TB do kilku PB i moge z reka na sercu go polecic. Co do awarii dyskow - wszystko zalezy od tego ile masz replik, na jakim sprzecie robisz i ile masz szczescia lub pecha - jak w raidzie. Pamietaj, ze dane w Cephu na OSD to zwykly FS (xfs, ext4...) i w razie utraty jedynej repliki - montujac zasob RO, da te dane sie odzyskac. Ceph liczy sumy z kazdej PG, wiec spoko.

     

×