Skocz do zawartości


 

Zdjęcie

zróbmy testy swoich VPS

zróbmy testy swoich VPS

  • Proszę się zalogować aby odpowiedzieć
51 odpowiedzi na ten temat

zróbmy testy swoich VPS

#21 Pan Kot

Pan Kot

    Mrrr

  • Zbanowani
  • PipPipPipPipPipPipPipPip
  • 2819 postów

Napisany 02 sierpień 2017 - 20:35

Ogólnie to jest chyba najgłupszy test wydajności dysków na świecie i nie ma nic wspólnego z realną wydajnością. Piszemy zera, które po drodze i tak są gdzieś wycinane, a nawet jeśli nie to jest to i tak gdzieś po drodze cachowane albo kompresowane (a po kompresji zajmują całe 0 więc można pisać i 10GB/s).

przetestujcie to jakimś fio czy czymś. testowanie dysków pisaniem zerami powinno umrzeć gdzieś w czasach gdy zaczęły się pojawiać serwery VPS.

 

Jeśli korzystasz z klasycznego nie-kompresowalnego systemu ext4 to metoda z pisaniem zerami jest bardzo dobrym pomiarem wydajności. Pisanie czymkolwiek innym powoduje dodatkowy overhead na CPU i dane źródłowe, podczas gdy pisanie zerami ma zawsze ten sam koszt i jest niezależne od szybkości CPU (a przynajmniej nie do poziomu gdy to CPU byłby bottleneckiem).

 

Prawidłowo wykonany test dd niczym się nie różni od testów wykonywanych przez programy benchmarkowe, a nawet daje bardziej optymalne wyniki z powodu swojej nisko-poziomowości i prostoty właśnie.

 

A to, że raw I/O nie przekłada się prawie w ogóle na IOPS i to co rzeczywiście się liczy przy dostępie do danych to zupełnie inna kwestia - tyle, że dd nie ma tutaj nic do gadania i prawidłowo testuje szybkość zapisu.


  • 0

#22 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 12:58

@Mrrr myślę że ludzie używają dd bo jest defaultowo dostępny w systemie. Polecam jednak testy za pomocą fio i ioping, bo te programy pokażą bardziej wiarygodne informacje niż zwykłe pisanie sekwencyjne za pomocą dd. Pakiety są do dostępne do instalacji w paczkach we wszystkich dystrybucjach.
 
Przetestujcie swoje VPS'y za pomocą testu losowego zapisu 4k bloków danych dla ustalenia ilości IOPS, oraz zapisu 1M bloków danych dla sprawdzenia wydajności IOLimit:

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=1G --readwrite=randwrite

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=1M --iodepth=64 --size=1G --readwrite=randwrite


Oraz sprawdźcie jakie macie wyniki w teście opóźnienia w dostępie do danych (/dev/sda1 do zmiany na nazwę Waszej partycji):

ioping -R -s 4k /dev/sda1


Moje wyniki na wczoraj założonym serwerze VPS w nazwa.pl:

root@marekCPU:~# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=1G --readwrite=randwrite | grep iops
Jobs: 1 (f=1): [w(1)] [100.0% done] [0KB/8004KB/0KB /s] [0/2001/0 iops] [eta 00m:00s]

root@marekCPU:~# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=1M --iodepth=64 --size=1G --readwrite=randwrite | grep WRITE
WRITE: io=1024.0MB, aggrb=538283KB/s, minb=538283KB/s, maxb=538283KB/s, mint=1948msec, maxt=1948msec

root@marekCPU:~# ioping -R -s 4k /dev/sda1

--- /dev/sda1 (block device 10.00 GiB) ioping statistics ---
6.20 k requests completed in 2.97 s, 24.2 MiB read, 2.09 k iops, 8.15 MiB/s
generated 6.20 k requests in 3.00 s, 24.2 MiB, 2.07 k iops, 8.07 MiB/s
min/avg/max/mdev = 2.65 us / 479.4 us / 3.29 ms / 493.6 us

Tłumacząc wyniki dla tych co dopiero pierwszy raz widzą te programy to wydajność zapisu losowych danych na dysku wynosi 2001 IOPS (nazwa.pl ma ograniczenie na każdy VPS do 2tyś IOPS), wydajność dysku ok 500MB/s, średnie opóźnienie do dysku wynosi 0,479ms, a minimalne opóźnienie do dysku zaledwie 0,026ms.

To moim zdaniem dobre wyniki i myślę że ten serwer będzie miał dużą wydajność w testach bazodanowych np. w przypadku testu wydajności działania WordPressa "WP Hosting Performance Check".

 

Ciekawy jestem jak wyjdą Wasze testy.

 


  • 0

#23 goa

goa

    Czasami na forum

  • Użytkownicy
  • 33 postów

Napisany 17 wrzesień 2017 - 13:43

nazwa.pl

ioping -R -s 4k /dev/sda1
--- /dev/sda1 (block device 10.00 GiB) ioping statistics ---
6.20 k requests completed in 2.97 s, 24.2 MiB read, 2.08 k iops, 8.14 MiB/s
generated 6.20 k requests in 3.00 s, 24.2 MiB, 2.07 k iops, 8.07 MiB/s
min/avg/max/mdev = 53.9 us / 479.7 us / 4.83 ms / 516.9 us

fio takie samo jak wkleiłeś

 

webh.pl - KVM

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=1M --iodepth=64 --size=1G --readwrite=randwrite | grep WRITE
  WRITE: io=1024.0MB, aggrb=829569KB/s, minb=829569KB/s, maxb=829569KB/s, mint=1264msec, maxt=1264msec
fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=1G --readwrite=randwrite | grep iops
  write: io=1024.0MB, bw=35264KB/s, iops=8816, runt= 29735msec
ioping -R -s 4k /dev/vda5
--- /dev/vda5 (block device 39.9 GiB) ioping statistics ---
5.58 k requests completed in 2.95 s, 21.8 MiB read, 1.89 k iops, 7.39 MiB/s
generated 5.58 k requests in 3.00 s, 21.8 MiB, 1.86 k iops, 7.27 MiB/s
min/avg/max/mdev = 170.3 us / 528.3 us / 14.9 ms / 730.4 us

ovh.pl - VPS SSD w polskiej lokalizacji

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=1M --iodepth=64 --size=1G --readwrite=randwrite | grep WRITE
  WRITE: io=1024.0MB, aggrb=489302KB/s, minb=489302KB/s, maxb=489302KB/s, mint=2143msec, maxt=2143msec
fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=1G --readwrite=randwrite | grep iops
  write: io=1024.0MB, bw=3921.3KB/s, iops=980, runt=267409msec
ioping -R -s 4k /dev/sda1
--- /dev/sda1 (block device 10.00 GiB) ioping statistics ---
3.10 k requests completed in 2.98 s, 12.1 MiB read, 1.04 k iops, 4.06 MiB/s
generated 3.10 k requests in 3.00 s, 12.1 MiB, 1.03 k iops, 4.04 MiB/s
min/avg/max/mdev = 37.0 us / 961.6 us / 15.6 ms / 765.1 us

 


  • 0

#24 behemoth

behemoth

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 1237 postów
  • Skąd:Łódź
  • Firma:swhosting.pl
  • Imię:Jakub

Napisany 17 wrzesień 2017 - 13:49

Powtórz te same testy w nazwie za pół roku, bo na pustej matce są niezbyt miarodajne.
  • 0

#25 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 14:07

Podsumowując nasze pomiary:

 

Średni ioping:
1. nazwa.pl 479us
2. webh.pl 528us
3. OVH 961us

 

Ilość IOPS:
1. webh 9.000
2. nazwa.pl 2.000
3. OVH 1.000

 

Ilość IOLimit:

1. webh 800MB/s

2. nazwa.pl 500MB/s
3. OVH 490MB/s

 

Co by nie mówić wszystkie wyniki są rewelacyjne i pewnie wybór tych ofert będzie trudny i zadecyduje cena :)

Ja wybrałem usługę w nazwa.pl o najniższym czasie ioping i nie żałuję bo wg. mnie czas dostępu do danych jest ważniejszy niż różnica pomiędzy prędkością IOLimit 490MB/s a 800MB/s.

 

 


  • 0

#26 k.kozak

k.kozak

    Stały użytkownik

  • Użytkownicy
  • PipPipPipPipPip
  • 152 postów
  • Firma:Webh.pl / ultimahost.pl
  • Imię:Kamil
  • Nazwisko:Kozak

Napisany 17 wrzesień 2017 - 14:20

Marku, każdy człowiek ma wolną wole i prawo do wyboru, jednak trzymajmy się faktów. Różnica w ioping nie występuje.

 

Ioping w webh jest na poziomie tego z nazwy, mimo iż serwery nazwy nie są jeszcze obciążone. 
 
Pozdrawiam,
Kamil
 
 

  • 3

#27 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 16:12

Nie będę polemizował z wolną wolą i prawem wyboru. Biorąc pod uwagę wybór oferty trzeba by jednak porównać wszystkie parametry techniczne i cenę którą trzeba zapłacić za usługę.
 
Za cenę 600zł/rok można mieć usługę:
- nazwa.pl: VPS NVMe Elite z 8 vCPU, 32GB RAM i 200GB NVMe, 10Gbps łącze do sieci
- webh.pl: VPS z 2 vCPU, 4GB RAM i 80GBGB SSD sieciowego, 1Gbps łącze do sieci
 
Z powyższego wniosek jest jasny że nawet drobne różnice na korzyść nazwa.pl w ioping nie mają znaczenia, ani też nawet różnice w wydajności IOPS/IOLIMIT bo usługa w nazwa.pl jest po prostu 4x tańsza od tej w webh.pl. Gdyby wycenić usługę VPS NVMe Elite w webh.pl to koszt wyniósłby aż 2774zł/rok z rabatami!

 

Jak widać duży może więcej.

 

 


  • 0

#28 Gość_xtd_*

Gość_xtd_*
  • Goście

Napisany 17 wrzesień 2017 - 16:36

Nie będę polemizował z wolną wolą i prawem wyboru. Biorąc pod uwagę wybór oferty trzeba by jednak porównać wszystkie parametry techniczne i cenę którą trzeba zapłacić za usługę.
 
Za cenę 600zł/rok można mieć usługę:
- nazwa.pl: VPS NVMe Elite z 8 vCPU, 32GB RAM i 200GB NVMe, 10Gbps łącze do sieci
- webh.pl: VPS z 2 vCPU, 4GB RAM i 80GBGB SSD sieciowego, 1Gbps łącze do sieci
 
Z powyższego wniosek jest jasny że nawet drobne różnice na korzyść nazwa.pl w ioping nie mają znaczenia, ani też nawet różnice w wydajności IOPS/IOLIMIT bo usługa w nazwa.pl jest po prostu 4x tańsza od tej w webh.pl. Gdyby wycenić usługę VPS NVMe Elite w webh.pl to koszt wyniósłby aż 2774zł/rok z rabatami!

 

Jak widać duży może więcej.

 

 

 

Czemu dyski ssd nazywasz/nazywacie nvme? i skąd przypuszczenie że nikt inny nie ma dysków ssd z takim interfejsem?

Tzn rozumiem że macie takie zalecenie żeby wyróżnić ofertę nazwy.

Ta Twoja pseudo szeptanka jest żenująca.
 


Edytowany przez xtd, 17 wrzesień 2017 - 16:37.

  • 0

#29 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 17:02

Dyski SSD i NVMe łączy tylko jedna rzecz: komórki pamięci NAND Flash. A wszystko inne różni. Nazywanie obydwu typów dyskami SSD było by dużą nieścisłością, tak samo jak nazywanie SSD i HDD po prostu dyskami. Dyski NVMe potrzebują 3x mniej cykli zegarowych niż dyski SSD do zapisu/odczytu takiej samej porcji informacji: http://www.seagate.c...92-1-1610us.pdf
 
Nie wiem czy tylko nazwa.pl używa tych dysków w serwerach VPS, ale z tego co widzę to zarówno ovh.pl jak i webh.pl nie mają ich w lokalnym RAID tylko w storage sieciowym. To duża różnica w działaniu, a zakładam że skoro do macierzy wkłada się na przykład 25 dysków, to nie są to dyski NVMe bo nie widziałem jeszcze płyty z 25 slotami PCI-e.

 

Widzę @xtd że jesteś związany z którąś z firm hostingowych jeżeli to co ja piszę nazywasz szeptanką. Argumenty, wysuwaj argumenty a nie tylko oskarżaj.

 


  • 0

#30 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1231 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 17 wrzesień 2017 - 17:14

@MarekCPU storage sieciowy ma to do siebie, że działa w oparciu o RAM, NVMe i SSD. RAM jest kilka razy szybszy niż przytaczane przez Ciebie dyski NVMe, następnie dane trafiają na NVMe, a następnie dopiero na klasyczne SSD. Stąd też twierdzenie, że jakiekolwiek dyski są szybsze od pamięci RAM, jest trochę nie prawdziwe. Pomijam fakt, że bardzo dziwne są Twoje wypowiedzi, sugerujące że masz coś związanego z nazwą. Jesteś na tym forum dopiero od 14 września i wypowiadasz się chwaląc tylko nazwa.pl. Czy tak ma wyglądać dobra zmiana na forum, po przejęciu przez nazwa.pl?

 

Nazwa może robić ceny dumpingowe, ale nie oznacza to od razu, że zna się na świadczeniu tego typu usług. Takie doświadczenie zdobywa się latami, a jak widać klienci nazwy już narzekają na sypiące się serwery VPS.


Edytowany przez Sebak, 17 wrzesień 2017 - 17:16.

  • 3

#31 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 17:37

Nie twierdziłem w żadnym poście że RAM nie jest szybszy od NVMe i SSD. Korzystanie z cache w RAM to standardowa funkcjonalność dla każdego systemu dyskowego, czy to lokalnego czy też wyniesionego. Nie widzę powodu aby na ten temat dyskutować bo cache dyskowy wszędzie występuje, a po za tym jego wielkość nie ma nic do rzeczy przy synchronicznych zapisach. Synchronicznych to znaczy że dane muszą zostać zapisane na dysku, a nie w RAM.

 

Natomiast będę twierdził cały czas że storage lokalny jest zawsze szybszy od wyniesionego, tym bardziej jeżeli są to dyski podłączone po szynie PCIe. Chyba nie twierdzisz że warstwa sieciowa jest szybsza od magistrali PCIe?! :mellow: Przecież opóźnienia nawet na sieci 10G wynoszą minimalnie około 100 mikrosekund (jest wiele materiałów w Internecie na ten temat). Uważam więc że generalnie storage wyniesiony jest gorszy dla aplikacji bazodanowych niż lokalny.

 

Widziałem dyskusje na temat nazwa.pl, oraz liczną krytykę tej firmy, w wielu miejscach zasłużoną, ale w wielu stanowiącą zwykłe obrażanie tej firmy. Czytając to forum można było dojść do wniosku że im większy krzak firma tym lepsza. Wiem że cena czy cuda - sam kupiłem najbardziej opłacalną usługę. Przepraszam urażonych że tym razem była ona w nazwa.pl i uważam że czas trochę opuścić ceny na VPSy w wielu firmach.

 

 

 


Edytowany przez MarekCPU, 17 wrzesień 2017 - 17:38.

  • 0

#32 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1231 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 17 wrzesień 2017 - 17:45

Nie jest prawdą, że lokalny system plików w równym stopniu korzysta z pamięci RAM jako cache, co dedykowany storage. Wszystko zależy od zastosowanego systemu plików, mechanizmów cache oraz wielkości ramu przeznaczonego pod to. Nie wierzę, że nazwa.pl na lokalnym serwerze, gdzie ilość ramu jest ograniczona przeznacza powiedzmy 200-300GB pod cache. Więc albo ktoś zepsuł konfigurację nazwa.pl, albo nie jest prawdą to co mówisz. Zauważ, że ioping zarówno dla nazwa.pl jak i webh.pl zwraca te same wartości. A porównujemy tutaj usługę, która działa od dłuższego czasu, do nowego gracza, którego serwery są jeszcze nie obciążone.


  • 0

#33 Gość_moskalik_*

Gość_moskalik_*
  • Goście

Napisany 17 wrzesień 2017 - 17:47

Panie Marku - zadziwia fakt, że pisząc posty nie widać że Pan je pisze. Zazwyczaj jeśli osoba na tym forum pisze post, jest to odpowiednio odnotowane. W Pana przypadku wygląda to tak, jakby konsultował Pan swoje posty z kimś za pomocą aplikacji wykraczającej ponad webhostingtalk. Czyżby musiał się Pan skonsultować z kimś z góry?

Posty Pana mają też charakterystyczny wydźwięk. Pisze Pan o "obrażaniu firmy" - w jaki sposób i gdzie firma jest "obrażana"? Nagle nazwa.pl wyskoczyło z nową ofertą VPS i już jest tak chwalona, pół internetu z niej przecież korzysta :-)


Naprawdę, fajnie że kupiliście sobie forum, ale jak chcecie się w taki sposób reklamować, róbcie to z głową, albo wcale, bo wygląda to tak jakby nie do końca doświadczony stażysta próbował na siłe prowadzić marketing szeptany na forum, co jest niestety nie do zweryfikowania, a szkoda.

Miłego trollowania w dalszym ciągu. Mam nadzieję, że internet Was zweryfikuje Panie "Marku" i Panie Piotrze N.


  • 0

#34 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 18:09

Ilość pamięci pod cache dyskowy powinna być proporcjonalna do ilości gorących danych. Ponieważ RAID10 jest robiony minimalnie na 4 dyskach NVMe, to oznacza to 6x mniej dysków niż na macierzy z 25 dyskami (zakładając że tam tej jest RAID10 a nie jakiś wynalazek w stylu RAID5/RAID6). Ilość pamięci RAM na cache powinna być więc proporcjonalnie mniejsza, bo ilość danych będzie mniejsza - czyli patrząc na Twój przykład powinno być około 35-50GB RAM per serwer. Nie wiadomo jak jest realizowany cache w jednym i drugim przypadku więc nie mogę się do tego odnieść. Być może w nazwa.pl jest 100GB RAM, czyli idąc tym tropem w webh powinno być 600GB...

 

Nie zgadzam się że ioping w nazwa.pl i w webh zwraca te same wartości. Wyraźnie widać że minimalne czasy dostępu na NVMe wynoszą wg testu @goa około 50 us, podczas gdy w webh trwa to minimalnie 170 us - czyli ponad 3x dłużej. Maksymalne opóźnienie również jest 3x mniejsze na NVMe w nazwa.pl 4,83ms podczas gdy na storage wyniesionym opóźnienie wynosi 14,9ms (czyli tyle ile transmisja z Warszawy do Frankurtu!). Widać więc że coś powoduje dużo większe opóźnienia na storage wyniesionym - i moim zdaniem jest to warstwa sieciowa która wnosi tak jak już pisałem około 100us opóźnienia.

 

Storage centralny na pewno ma duże zalety w postaci skalowalności i wydajności, ale jak widać parametry czasu dostępu nie są jego najmocniejszą stroną. Nie wiem jak jest obciążony storage w jednym i drugim przypadku i czemu zakładasz, że w przypadku webh będzie za jakiś czas lepiej niż w nazwa.pl. Trzymaj się @Sebak proszę faktów, a nie przypuszczeń bo zaczynasz być stronniczy.


Edytowany przez MarekCPU, 17 wrzesień 2017 - 18:10.

  • 0

#35 Gość_moskalik_*

Gość_moskalik_*
  • Goście

Napisany 17 wrzesień 2017 - 18:14

Trzymaj się @Sebak proszę faktów, a nie przypuszczeń bo zaczynasz być stronniczy.

 

Zasadnicza różnica jest taka, że on być może zaczyna, Ty niestety sprawiasz wrażenie osoby, która w nazwa.pl jest mocno zakorzeniona.


  • 0

#36 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 18:15

@moskalik - aż trudno Ci odpowiedzieć i widać że nadepnąłem komuś z konkurencji nazwa.pl na odcisk. Założyłeś dzisiaj konto i nie masz żadnych argumentów po za obrażaniem mnie.


  • 0

#37 Gość_moskalik_*

Gość_moskalik_*
  • Goście

Napisany 17 wrzesień 2017 - 18:16

@moskalik - aż trudno Ci odpowiedzieć i widać że nadepnąłem komuś z konkurencji nazwa.pl na odcisk. Założyłeś dzisiaj konto i nie masz żadnych argumentów po za obrażaniem mnie.

 

W którym miejscu Cię obrażam? Chyba trochę nadinterpretujesz i rozpędzasz się z pewnymi określeniami.

 

Niestety piszesz tak jak osoba siedząca wewnątrz nazwa.pl, więc jedynie odniosłem się do czegoś co widać gołym okiem i co widzę nie tylko ja.

 

Poza tym ja założyłem konto dziś, Ty 3 dni temu i polecasz nagle nową usługę w nazwa.pl. Coś tu śmierdzi, sam się zastanów co, albo spytaj szefa.


  • 0

#38 MarekCPU

MarekCPU

    Czasami na forum

  • Nowy
  • 40 postów

Napisany 17 wrzesień 2017 - 18:19

Moim zdaniem @moskalik to Ty jesteś mocno zakorzeniony w webh.


  • 0

#39 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1231 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 17 wrzesień 2017 - 18:20

@MarekCPU nie chcę rozpisywać się, na temat wydajności, skoro testy mówią jedno. Średnia wydajność zarówno dla webh jak i nazwa jest na takim samym poziomie. O czym to świadczy jeśli przyjąć Twój punkt widzenia? Nazwa ma tak zrąbaną konfiguracje, że pomimo 4 super szybkich dysków nvme nie potrafi wydajnościowo prześcignąć storage sieciowego z webh.pl, który z założenia jak mówisz, powinien być być dużo wolniejszy ;-). O kim to świadczy dobrze, a o kim źle?


  • 0

#40 Gość_moskalik_*

Gość_moskalik_*
  • Goście

Napisany 17 wrzesień 2017 - 18:21

Moim zdaniem @moskalik to Ty jesteś mocno zakorzeniony w webh.

 

Bardzo mocne słowa, ale niestety jesteś w błędzie. Miałem tu do niedawna konto, zanim jeszcze Twój szef zaczął wprowadzać tutaj nowe zmiany i myślałem, że na tym będę mógł poprzestać i zapomnieć, ale widząc cyrk jaki się tu dzieje nie umiem się nie włączyć do dyskusji. 

 

Popracujcie w firmie nad pisaniem na tym forum, bo ośmieszacie siebie i firmę, a ludzi macie chyba naprawdę za idiotów skoro sądzicie, że tego nie widać.


  • 0





0 użytkowników czyta ten temat

0 użytkowników, 0 gości, 0 anonimowych użytkowników