Wolny zapis w software RAID 10 (Debian Wheezy)

[JohnyByk 1]

Witam

Właśnie walczę z nowym dedykiem.
Jego parametry:

HP DL 120 G7 z Intel Xeon E3-1230 (3.20GHz/4-core/8MB)
4 x 500 GB 7.2K RPM 6G SATA (MB0500GCEHE)
16 GB RAM

Na serwerze działa software RAID 10 (Debian Wheezy).

root@server:~# cat /proc/mdstat
Personalities : [raid10] [raid1]
md2 : active raid10 sda7[0] sdd7[3] sdc7[2] sdb7[1]      907949056 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]

md1 : active raid1 sda5[0] sdc5[2](S) sdd5[3](S) sdb5[1]      975296 blocks super 1.2 [2/2] [UU]

md0 : active raid10 sda1[0] sdd1[3] sdc1[2] sdb1[1]      58754048 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]

root@server:~# df
System plików                                                         1K-bl                użyte  dostępne %uż. zamont. na
rootfs                                                             57830644              1836652  53056292   4% /
udev                                                                  10240                    0     10240   0% /dev
tmpfs                                                                815488                  304    815184   1% /run
/dev/disk/by-uuid/c43999f2-159f-44da-bde9-aac2fc9e9a99             57830644              1836652  53056292   4% /
tmpfs                                                                  5120                    0      5120   0% /run/lock
tmpfs                                                               4755380                    0   4755380   0% /run/shm
/dev/md1                                                             959928                35556    875608   4% /boot
/dev/md2                                               73786976294823958240 73786976293930462148 893496092 100% /home

Konfiguracja nie powala, ale na razie powinno wystarczyć.

Wydaje mi się, że zapis na macierzy jest wolny. Teorię swoją opieram na własnych (bardzo dawnych doświadczeniach) oraz na wielu testach, które można znaleźć w internecie.
Z powyższych zawsze wynika, że przy zastosowaniu software RAID zawsze jest wzrost szybkości odczytu i zapisu natomiast w tym przypadku wyniki nie powalają (szczególnie zapis).
http://www.pixelchaos.net/2008/09/12/performance-testing-linux-software-raid/ (RAID 10)
Poniżej powtórzenie dokładnie takich samych testów jak na stronie:

root@server:~#  dd if=/dev/zero of=/dev/md2 bs=4M oflag=direct count=250
250+0 przeczytanych recordów
250+0 zapisanych recordów
skopiowane 1048576000 bajtów (1,0 GB), 20,5438 s, 51,0 MB/s


root@server:~#  dd if=/dev/md2 of=/dev/null bs=4M
5860+0 przeczytanych recordów
5859+0 zapisanych recordów
skopiowane 24574427136 bajtów (25 GB), 91,5141 s, 269 MB/s

Test na najtańszym kimsufie (te co były wq dużej promocji na atomach, jeden dysk SATA3)
root@kimsufi:~# dd if=/dev/zero of=/dev/sda bs=4M oflag=direct count=250
250+0 przeczytanych recordów
250+0 zapisanych recordów
skopiowane 1048576000 bajtów (1,0 GB), 7,3322 s, 143 MB/s

root@kimsufi:~# dd if=/dev/sda of=/dev/null bs=4M
^C4605+0 przeczytanych recordów
4604+0 zapisanych recordów
skopiowane 19310575616 bajtów (19 GB), 134,733 s, 143 MB/s

Samo kopiowanie plików potwierdza wynik (np. kopia 6GB pliku w mc)

Czy wg Was są to dobre wyniki czy może jednak jest coś nie tak. Wydaje mi się, że RAID10 nie powinien być wolniejszy od 1 dysku. Potwierdzają to testy, których można znaleźć dużo w sieci.
Oczywiście wszelkie testy do jakich się dokopałem dotyczyły software RAID.

Jak szukac przyczyny słabych wyników w zapisie? Może w konfiguracji coś jest nie tak? Niestey na styku hardware+software nie mam dużego doświadczenia. Skończyło się kilkanaście lat temu.
Na spisie partycji widać, że /home ma 100% zajętego miejsca, a nie katalog nie zawiera ani jednego pliku. Ktoś wie co może być przyczyną? Jak to naprawić?

root@server:/home# du -cs --si /home
4,1k    /home
4,1k    razem

root@server:~# df
*
/dev/md2     73786976294823958240 73786976293930462148 893496092      100%      /home

Nawet nie wiem gdzie szukać przyczyn. Może powinienem dostarczyć jakichś informacji z systemu?

Proszę o ewentualne sugestie co moge zrobić.

Pozdrawiam

[tgx 575]

blockdev --report

 

i spróbuj ustawić na większą wartość

 

blockdev --setra 8192 /dev/md2

 

i wykonaj test ponownie

[JohnyByk 1]

Niestety nic się nie zmieniło. Prędkość zapisu nadal taka sama :/

 

Gdzie jeszcze można szukać rozwiązania?

Odczyt wydaje się być ok, ale zapis raczej taki bardzo marny jak na RAID. Na najtańszym kimsufi z jednym dyskiem jest blisko 3 razy lepiej.

 

Nie wierzę, że to normalne.

 

Pozdrawiam

[theONE 526]

Podaj prędkość kopiowania w obrębie dysków, tzn kopiuj fizyczny plik a nie z /dev/zero

[JohnyByk 1]

Szybkość ~ 50MB/s (odczyt z md1 zapis do md2). Wielkość ~6GB. Kopiowane za pomocą mc.

[Insider 43]

Sprawdź jaki masz scheduler:

cat /sys/block/sda/queue/scheduler

 

Jeżeli CFQ to zmień na deadline'a:

echo "deadline" > /sys/block/sda/queue/scheduler

 

Ps. Moja wiedza w zakresie Linuxa jest bliska zeru, nie śmiać się.

Edytowano Grudzień 19, 2013 przez Insider (zobacz historię edycji)