Raid 0 na dyskach nvme w slocie pcie

[smigg 2]

Cześć,

 

Zacząłem współpracę w oparciu o Resilio Sync (serwer p2p), stała synchronizacja danych w przedziale 2-4tb,

dzienne transfery od kilkudziesięciu do nawet +200gb.

 

Ekipa po tamtej stronie siedzi na Macach, dane synchronizują na 2-4 sztukach Samsungów 980 pro 2tb (w konfiguracji raid 0 dla maksymalnie zwiększonego przesyłu danych), wszystko zapięte w kontrolerze:

 

Sonnet Fusion SSD M.2 Silent 4x4 PCIe Card

 

Musze rozbudować swoją jednostkę abym mógł bez problemu z nimi współpracować, myślałem ze wystarczy 1 sztuka 4tb dysku, jednak sugerują abym poszukał rozwiązania podobnego do nich.

 

Moj sprzęt:

i7-6850K

Asrock Taichi x99

gtx 1080

1x Plextor px-256M8PeG    256gb

1x Adata SX8200   1tb

 

Oba dyski wpięte bezpośrednio w płytę, 2 szyny PCIE x16 wolne. Planuje zacząć od 2 sztuk 980 Pro 2tb w raidzie 0.

 

Pytanie:

 

1) Co sprawia że wyżej wymieniony kontroler jest aż tak drogi? Konstrukcje typu Aorus Gen4 AIC ADAPTOR czy 4x m.2 M-Key hyper od asusa są dużo tańsze, a na 1 rzut oka laika to spełniają podobną funkcję.

 

2) Jak na mojej platformie sensownie to wykonać? W prawdzie mam dwie wolne 16x linie pcie, ale czytałem że linie potrzebują dzielenia (bifurcation?), nie moge doczytać czy moja płyta to wspiera. Dodatkowo kontrolery Aorusa i Asusa nie wspierają platformy x99.

 

Prosiłbym o jakąś pomoc, bo wydatek robi sie duży, a im więcej czytam w necie, tym mniej jestem pewien co mam robić:) 

Edytowane 9 Stycznia 2022 przez smigg

[bob 68]

1. 2 tys. za kontroler to wcale nie jest dużo. Nie wiem co to za model. Ale cena mnie nie dziwi.

2. Cena za pordukt dla biznesu wyższa 10 razy niż za podobny dla rynku soho to normalna.

3. Kontrolery są produkowane w małych seriach. Nikt tego nie kupuje, więc są drogie. 

4. Jeśli to jest profesjonalny model tak jak w Dellach Perc to producent musi zapewniać kilkuletnie wsparcie., Musi składować w magazynach kontrolery na serwis. Przestrzeń magazynowa kosztuje, więc to też wpływa na cenę. 

5. Z drugiej strony taki Backblaze (dostawca chmury do składowania plików) sam buduje swoje serwery na 45 czy 60 dysków, sami projektują obudowy, backplate pod dyski, karty z portami SATA. Kiedyś analizowałem  specyfikację ich serwerów. Kontrolery pod dyski jakieś śmieszne pieniądze kosztował. Tak więc nie zawsze cena jest skorelowana z jakością i wydajnością. Czasem po prostu z marką i bynajmniej z wydajnością nie ma nic wspólnego.

[smigg 2]

Spoko, rozumiem ze to nie jest popularne rozwiązanie, bardziej chodziło mi o techniczne różnice pomiędzy tymi tańszymi. Czy główna różnica to to że ten omija ograniczenia związane z bifurykacją?

[cyna76 91]

po pierwsze to nie jest żaden kontroler tylko adapter (nawet nie posiada własnego oprogramowania do konfiguracji), cena jest jaka jest bo urządzenie jest kierowane dla użytkowników apple (mają gwarancję że będzie działać pod macOS a i tak im wychodzi to taniej niż dokupienie dysków od apple) , spokojnie możesz sobie kupić coś tańszego od Gigabyte lub Asus i tak będzie szybsze niż ten wynalazek no chyba że będzie problem z "bifurcation" na X99 ale w takim przypadku wątpię żeby ra karta o której piszesz też działała.

Edytowane 9 Stycznia 2022 przez cyna76

[kokosnh 4154]

może się wypowiem, jako posiadacz podobnego wynalazku, używany w Asus P8Z68-V pro (system windows 10 mam postawiony na jednym z nich, nie ma problemu z bootowaniem przez legacy boot rom)   
zdjęcia

 

 

 
 

 

To jest switch PCI-e 3.0 x16, z wbudowanymi 4 slotami M.2 PCI-e 3.0 x4. To jest kompletnie transparentne dla hardware-u i software-u (po prostu działa, mnożąc linie PCI-e).  
Jedynym ograniczeniem, jest maksymalna możliwość zaadresowania urządzę PCI-e przez procesor, ale przy tak małej ilości urządzeń, to nie ma znaczenia... 

Sam mam switch PCI-e 3.0 x8, z wbudowanymi 4 slotami M.2 PCI-e 3.0 x4 (fizycznie x16, ale switch ASMedia ASM2824 obsługuje elektrycznie tylko x8) https://www.anandtech.com/show/13022/asmedia-preps-asm2824-pcie-30-switch   

sam kupowałem tu https://pl.aliexpress.com/item/4000800378079.html   

Nowa wersja tego switch jest fizycznie kompatybilna z PCIe x8 (ma wcięcie) i ma zmieniony radiator. 

Ze względu na temperaturę switch PCI-e strasznie się grzeje. Musiałem dokupić radiatory i obkleić go. 

 

 

Spoiler

 

 

Ze względu na temperaturę, bo same radiatory nie wystarczyły, musiałem dodać dedykowany wentylator 

 

Spoiler

 

Zadaniem tego urządzenia jest rozmnożenie linii PCI-e, lub w przypadku takiego jak tu x16, umożliwienie podłączenia 4 x SSD na pełnej prędkości PCI-e 3.0, bez korzystania z bifurkacji. 
 

 

9 godzin temu, smigg napisał:

1) Co sprawia że wyżej wymieniony kontroler jest aż tak drogi? Konstrukcje typu Aorus Gen4 AIC ADAPTOR czy 4x m.2 M-Key hyper od asusa są dużo tańsze, a na 1 rzut oka laika to spełniają podobną funkcję.

Bo to jest switch PCI-e, który umożliwia ci podłączenie 4 x SSD M.2 PCIe 3.0 na pełnej prędkości, bez wsparcia bifurkacji  
Te tańsze adaptery o których mówisz, to są tylko adaptery, prowadzące linie PCI-e z gniazda, do slotów, M.2, tam nie ma "żadnej" skomplikowanej elektroniki, czyste ścieżki PCI-e, jedynie zasilanie jest wspomagane.     

Wydaje mi się, że twoje płyta domyślnie nie wspiera bifurkacji, ale pewnie po modyfikacji uefi, coś by się dało zrobić (byli tacy co dodawali bifurkacje przez modyfikacje UEFI, co prawda nie do tej płyty, ale do X99) No ale tu zostawiam to tobie, czy chcesz się w modyfikacje UEFI bawić. 

 

9 godzin temu, smigg napisał:

2) Jak na mojej platformie sensownie to wykonać? W prawdzie mam dwie wolne 16x linie pcie, ale czytałem że linie potrzebują dzielenia (bifurcation?), nie moge doczytać czy moja płyta to wspiera. Dodatkowo kontrolery Aorusa i Asusa nie wspierają platformy x99.

Masz szczęście, że masz i7-6850K z 40 liniami PCI-e, bo dzięki temu masz 2 gniazda, z pełnym PCI-e 3.0 x16 do procesora... Niestety z tego co widzę, płyta nie wspiera bifurkacji, ale właśnie taki switch by cię ratował. Tylko mam nadzieję, że zdajesz sobie sprawę, że chłodzenie jest kompletnie niewystarczające, trzeba zainwestować trochę w chłodzenie tego switcha, aby to schłodzić do znośnych temperatur.  
Mój switch PCI-e bez modyfikacji, po kilkudziesięciu minutach podgrzewał przez linie PCI-e SSD do 95 stopni Celsjusz (na samym kontrolerze było pewnie grubo ponad 100 stopni).       

[smigg 2]

Dzięki za konkretną odpowiedź. Jeśli chodzi o ten sonnet, daje go tylko jako przykład z uwagi na to że ludzie z którymi współpracuje używają tego na makach z powodzeniem.

Na pewno nie dodają tam żadnego dodatkowego chłodzenia bo widziałem jedną jednostkę od środka, siedzi na tym tylko radiator pasywny. Ale o temperatury nie pytałem.

 

3 godziny temu, kokosnh napisał:

Wydaje mi się, że twoje płyta domyślnie nie wspiera bifurkacji, ale pewnie po modyfikacji uefi, coś by się dało zrobić (byli tacy co dodawali bifurkacje przez modyfikacje UEFI, co prawda nie do tej płyty, ale do X99) No ale tu zostawiam to tobie, czy chcesz się w modyfikacje UEFI bawić. 

 

W moim wypadku takie zabawy odpadają, raz sie sie na tym nie znam, dwa ze nie moge sobie pozwolić na uceglenie jednostki nawet na 1 dzień

 

Póki co jedyną sensowną opcją jaką widzę poza sonnetem, a która jest praktycznie plug and play wydaje sie karta od WD:

 

Dysk SSD WD Black AN1500 4 TB PCIe PCI-E x8

 

2x 2tb w raidzie 0, czyli minimum które i tak montowałbym w sonnecie na początek. Jesli miejsce trzeba bedzie zwiekszyc to wsadzę taki drugi i część katalogów bazy danych będę synchronizował oddzielnie. Jeśli oczywiście w moim configu starczy linni pcie, ale powinno starczyć?

 

W testowanych nie ma płyt z x99

Compatibility Matrix: WD_BLACK AN1500 NVMe SSD (westerndigital.com)

 

z recenzji dysku czytam: "Before/if you buy it's worth checking that your motherboard can run slots at X8 or has X16 lanes on multiple slots. "

natomiast z recenzji płyty głównej: "In the instance of a 28-lane CPU (i7 5820K or 6800K) the configurations are 16/0/8, 16/8/0 or 8/8/8 while with 40-lane CPUs (i7 5930K, 5960X, 6850K, 6900K and 6950X) it is 16/16/0, 16/8/8 or 16/0/8."

 

 

Stanęło na Sonnecie z 4x 1tb dyskami evo plus, jeśli ktoś jest chętny to dam znać czy działa i jak się sprawuje.

Edytowane 9 Stycznia 2022 przez smigg

[kokosnh 4154]

jeśli chcesz tego używać jako RAID 0 x 4 M.2 NVMe, to pamiętaj, aby mieć backup online tworzony, bo to jednak trochę ryzykowne.   

Do tego da się kupić na ali coś podobnego też PCI-e 3.0 x16 trochę taniej. 

Co do temperatur, to dużo zależy od procesu technologicznego w którym dany switch PCI-e został stworzony. Mój był tani, ale gorący. 
Trzeba by zobaczyć w specyfikacje tego Sonnet-a, czy spodziewać się problemów z temperaturą, czy nie.     

[smigg 2]

Koszt nie jest problemem, nie ja płacę. Identyczne konfiguracje w makach współpracowników działają od 18 miesięcy bez żadnych problemów.

Backup jest po stronie ich serwera, ja na tym raidzie bede mial tylko zsynchronizowane lokalnie wybrane foldery z całej bazy.

 

Tak czy siak dzięki za pomoc, dam znac jak dziala i wrzuce jakieś foto z procesu

[kokosnh 4154]

Nie wiem czy taniej nie wyjdzie kupić nową platformę, oczywiście przy założeniu, że używasz tylko 4 slotów DDR, nie 8 (czyli nie tracimy RAM-u), więc kupić trzeba jedynie płytę i procesor... 
Bo wtedy taki adapter za 100zł by starczył. 

 

[smigg 2]

Ciągle siedzę na 32gb (4 kości) watpie czy planuję rozbudowę w tym temacie

Spoko tylko ile wydam na nową sensowną platformę do pracy która pomieści gpu na x16, 2 nvme plus kartę z dodatkowymi 4nvme??

[kokosnh 4154]

Może coś w stylu:
i5-12600KF lub i5-12700KF
Gigabyte Z690 GAMING X DDR4   
I wsadzenia tam 2 x M.2 2TB PCIe 4.0 w RAID 0,
zamiast 4 na adapterze, czy switchu PCI-e.  

to tylko przykład pierwszy z brzegu, nie analizowałem dokładnie tej płyty względem innych. 

Tylko nie rozumiem jak się układają linie PCI-e 4.0 w tych slotach M.2 (w instrukcji nic nie ma konkretnego)
w spec są opisane jako PCI-e 4.0 x4/x2 co mnie zastanawia.   

A obecne mogą być w slotach M.2, lub kupić najtańsze adaptery PCI-e M.2 i wsadzić w te ostanie dwa słoty PCI-e 3.0 x 4 

[smigg 2]

Policzmy, bo nie wiem czy dobrze się rozumiemy

Moje obecne cpu ma 40 linii:

Zajęte jest:

16x na gpu

8x na 2 nvme juz zainstalowane w slotach m2

 

z tego co widze płyta dzieli x16/x16 lub /x16/x8/x8 dla procków z 40 liniami. Czyli na chłopski rozum zostaje 8x, więc chyba nawet nie mam juz wolnych linii na te 4x1tb dyski w karcie sonnet bo to bedzie wymagało 16x. Dobrze rozumiem? 

 

W takim razie nie wiem jak mam to zrobić na procesorze z 20 liniami pcie.

 

[walker 3324]

W obecnej konfiguracji masz wolny slot x16 lub dwa sloty x8/x8. Asrock nie podaje nigdzie konkretów ale obecność M.2 z interfejsem pcie 3.0 na platformie x99 oznacza podpięcie ich do cpu.

 

Asrock X99 Taichi dzieli pcie z procesora na przekazane do czipsetu DMI2.0 (4 linie pracujące jako pcie 2.0), oraz sloty PCIE2/PCIE4/PCIE5/M2_1/M2_2:

przy 40 dostępnych: x16/x16/x0/x4/x4 lub x16/x8/x8/x4/x4

przy 28 dostępnych: x16/x0/x8/x0/x4 lub x8/x8/x8/x0/x4

 

 

Na nowszej platformie o której mówi kokosnh, czyli LGA1700 Z690, procesor dysponuje złączem DMI4.0 dla czipsetu (8 linii w trybie 4.0), oraz 20 liniami pcie do podziału z reguły na 4x dla M.2 pcie 4.0, oraz jeden lub dwa sloty pcie współdzielące pozostałe 16 linii w trybie 5.0. W zależności od implementacji na konkretnej płycie Z690 można wtedy podpiąć grafikę do slotu x16, lub podzielić to na grafikę x8 + cokolwiek innego x8. Oprócz tego dostępne jest x4 dla dysku M.2. A oprócz tego czipset będzie w stanie obsłużyć 2-4 kolejne dyski m2.

 

Płyta Gigabyte Z690 GAMING X DDR4 przywołana przez kokosnh oferuje pcie:

 

Od CPU:

5.0x16 dla slotu "PCIEX16"

4.0x4 dla slotu "M2A_CPU"

 

Od czipsetu Z690 (a więc multipleksowane przez DMI4.0):

4.0x4 "M2P_SB"

4.0x4 "M2Q_SB"

4.0x4 "M2M_SB"

3.0x4 "PCIEX4_1"

3.0x4 "PCIEX4_2"

 

Zapis x4/x2 mówi tyle, że... w złączu x4 da się umieścić urządzenie z interfejsem x2

 

 

[kokosnh 4154]

Bo chipset to tak naprawdę też switch PCI-e (w wypadku z690 gen 4.0), ale jeszcze ma masę innych kontrolerów dodatkowo.

Moim zdaniem pójście w nową platformę ma więcej sensu, niż wydawanie ponad 2.5 tysiąca na switch PCI-e 3.0 x16.

[smigg 2]

Ok jeszcze to przemyśle, faktycznie na 1 rzut oka za około 1tys więcej mogę zrobić to samo tylko na dyskach 4.0 na nowej platformie. No chyba że przyjdą jeszcze dodatkowe wydatki jeśli cos by nie bylo kompatybilne:

 

Chłodzenie CPU Scythe MUGEN 5 rev.B

Ram 4x 8gb 2400mhz Crucial Balisstix Sport LTCL16

Zasilacz Focus  PLUS GOLD 750

 

Ryzen też ma jakąś porównywalną platformę na której mógł bym zrobić identyczny setup? Pytam z ciekawosci

Gpu 16x

2x nvme

4x nvme w raid 0

 

Dzięki

[kokosnh 4154]

Z tego co sprawdziłem, cooler nie będzie kompatybilny. Trzeba dokupić mounting kit dla 1700 od scythe, który jest kompatybilny z twoim coolerem ( widziałem jeden i był kompatybilny, pytanie jak z dostępnością ).
Ram dość wolny, ale działać będzie.
Zasilacz OK.




Jeszcze co do nowej platformy, max możesz zrobić raid 0 z 3 SSD M.2 4.0, aby miało to sens. Bo jesteś przez DMI ograniczany.

[smigg 2]

Myślę ze w tym wypadku został bym na 2 oddzielnych nvme, i spiął bym 2 sztuki 2tb w raid0. Z 6 dyskami i tak się nie pomieszczę

Chłodzenie mogl bym wymienic na Fortis 5 Dual fan np

 

Mowa oczywiscie o platformie i5-12600 oraz Z690 GAMING X DDR4