Hosting plików

[Wertop 0]

Witam,

 

Przeglądam forum już od dłuższego czasu. Postanowiłem się zarejestrować. Chciałbym się z wszystkimi przywitać.

W moich planach mam założenie hostingu plików typu Catshare, Rapidu na polski rynek. Chciałbym zapytać Was, bardziej doświadczonych użytkowników, parę rzeczy z tym związanych.

Przeszukałem wiele firm, pisałem z prośbą o indywidualną wycenę. Najbardziej przypadła mi oferta e24cloud, dokładniej Pliki w Chmurze (e24files). Pisałem do ich BOKu.

Wszystko było okej poza jedną rzeczą. Mianowicie na moim hostingu każdy będzie miał swoje konto FTP, a usługa e24files udostępnia tylko jedno konto (główne). Zastanawiałem się nad zakupem w e24cloud serwera/ów wirtualnych, na nich postawić konta FTP. Dodatkowo jeszcze 2 serwery do bazy danych oraz do strony WWW. Wszystko wytłumaczone na schemacie.

Mógłby ktoś mi polecić jakiś lekki, darmowy panel przez który mógłbym zakładać konta FTP czy lepszym sposobem byłoby napisanie API do zakładania kont?

Bardzo bym prosił kogoś o powiedzenie czy myślę dobrze, czy źle oraz coś ktoś by mógł doradzić.

 

Z góry dziękuję za odpowiedzi

Edytowano Sierpień 27, 2014 przez Wertop (zobacz historię edycji)

[Misiek08 285]

Myślisz dobrze.

 

Jeżeli czegokolwiek nie będziesz rozumiał pytaj, jeżeli chcesz współpracować przy Twoim projekcie odezwij się na PW lub creating.www@gmail.com - dogadamy się

 

Konta FTP możesz mieć u siebie ładowane z bazy. Wiele serwerów, np. proftpd ma moduł MySQL, dzięki czemu utworzenie konta FTP może się zakończyć na stworzenie folderu na dysku i wpisaniu 1 rekordu do bazy. Dodatkowo takie serwery jak proftpd mogą wykonywać akcje po wrzuceniu pliku, więc możesz w takim momencie uploadować automatycznie plik do e24files, czy innej takiej usługi oraz wpisywać jego metadane do bazy. Wszystko pełen automat.

Raczej gotowca pod to nie ma, ale z wykorzystaniem odpowiedniego serwera FTP możesz to napisać w dosłownie kilkudziesięciu linijkach (+ oczywiście kod kont, itd., ale sama logika systemu plików to te parę linijek).

Proftpd, vsftpd, czy jeszcze pare innych. Ja dałem przykład, który u mnie działał

 

Następna kwestia:

Jeżeli naprawdę myślisz o ogromnych ilościach plików to od razu użyj jakiejś bazy typu NoSQL, bo nie potrzebujesz relacji, a MySQL wymusi już po paru miesiącach popularności pewne ruchy, optymalizacje i inne takie. Jest mnóstwo rozwiązań, które dadzą Ci zapomnieć przynajmniej o tej części systemu na dłuuuugi czas. Nie ma też nic złego w trzymaniu danych o plikach w 1 bazie, a np. dane o użytkownikach, płatnościach i innych rzeczach w (My|Postgre)SQL.

[Wertop 0]

Dziękuję Ci @Misiek08 za odpowiedź.

 

Twoje propozycje związane z kontami FTP i osobną bazą dla danych o plikach i informacjach o użytkownikach itp. są świetne.

 

Mógłbyś polecić jakąś dobrą, szybką bazę danych bez relacji?

[Misiek08 285]

MongoDB, Aerospike, CouchDB to takie dosc popularne. Aerospike to bardziej jak masz duzo RAMu i SSD i ogromny ruch. Niektorzy "szalency" nawet na Redisie trzymaja.

 

Mozesz zaczac na MySQL, ale pisz wszystko tak, zeby przelaczenie systemu na inna baze nie wymuszalo pisania wszystkiego od nowa. Rozbij na klasy i providery, ale tez nie rob 50 klas do podawania pliku

 

Mysle, ze pojdziesz taka sciezka MySQL>MongoDB, a potem jak bedzie czas na kolejny krok to zrobisz juz testy paru rozwiazan i to bedzie najlepsze.

[Wertop 0]

Ja bym od razu wolał być przygotowany na duży ruch i postawił bazę danych z informacjami o plikach na MongoDB, a resztę oparł o MySQL.

[Kszysiu 136]

Jeśli chodzi o fajną bazę NoSQL to polecam Cassandra
Na początku może odstraszyć to, że napisana jest w.... javie;) Ale wydajnościowo na prawdę jest świetna - no i przy 4 nodach jest również "niezabijalna"

[Misiek08 285]

To zależy jak bardzo szastasz RAMem. Cassandra, na 4 node'ach już swoje weźmie (sama VMka Javy potrafi wziąć 90-150MB RAMu). Java fajna, bo mało awaryjna, sama Cassandra też. Jednak ja bym dalej stawiał na jakieś Mongo i to będzie działać.

[PapaSmerf 497]

@Misiek08 Kto przy obecnych cenach sprzętu zastanawia się nad takimi niewielkimi różnicami w zużyciu RAMu?

 

@OP - masz fajne porównanie różnych mechanizmów składowania danych: http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis. To czy pójdziesz w Cassandrę, MongoDB, CouchDB ma znaczenie drugorzędne, tak szczerze mówiąc. Ale pamiętaj: premature optimization is the root of all evil.

[Misiek08 285]

Migracja z czegokolwiek na cokolwiek przy hostingu plików zawsze (tak, zawsze) zmieści się w 12-24h. Nie ma takiej możliwości, żeby baza metadanych (nawet jeśli to będą sumy w 3 algo, długość, kodeki, rozmiar i typ) była tak duża, żeby migracja była niemożliwa lub trwa bardzo długo.

 

@pedro84 - ja. Zawsze na to patrzę. Dlaczego? Wyobraź sobie, że storage wstawiam w chmurę a'la S3, ale kupuję od firmy samą powierzchnię i transfer, a do tego ustawiam 10 instancji. Teraz te instancje mogą mnie kosztować 220zł/mies jak wezmę malutkie z np. 0.5-1GB RAMu albo 600-800zł jak wezmę 2+GB RAMu. Tylko tutaj patrzę. Nie jestem też (mam nadzieję, że to się zmieni ) bogaczem, więc nawet w takim miejscu szukam oszczędności.

[PapaSmerf 497]

@pedro84 - ja. Zawsze na to patrzę. Dlaczego? Wyobraź sobie, że storage wstawiam w chmurę a'la S3, ale kupuję od firmy samą powierzchnię i transfer, a do tego ustawiam 10 instancji. Teraz te instancje mogą mnie kosztować 220zł/mies jak wezmę malutkie z np. 0.5-1GB RAMu albo 600-800zł jak wezmę 2+GB RAMu. Tylko tutaj patrzę. Nie jestem też (mam nadzieję, że to się zmieni ) bogaczem, więc nawet w takim miejscu szukam oszczędności.

 

Życzę, żeby się zmieniło

 

A wracając do tematu, patrząc z puktu biznesowego, w 99.99% przypadków będzie to rozwiązanie o wiele droższe. Dlaczego? Bo ceny sprzętu są obecnie tak niskie, że dobry zespół programistyczny (bądź też czas własnego zespołu) będzie kosztował Cię o wiele więcej niż dokupienie serwera, RAMu, storage.

 

A oszczędności zawsze warto szukać (wiadomo, zawsze warto płacić mniej, niż więcej), tylko to musi mieć sens. Jesli mamy rezygnować z jakiegoś narzędzia, tylko dlatego, że zjada przykładowo 20% więcej RAMu to nie jest to dobra decyzja, moim zdaniem.

[Misiek08 285]

Moim skromnym zdaniem MongoDB jest prostsze do wprowadzenia i pisania na samym początku. Konfiguracja też banalna wg tutoriala.

 

Ja polecam od siebie MongoDB.

[PapaSmerf 497]

Czy ja wiem czy prostsze? W sumie nie miałem żadnych problemów z żadnym z nich, więc tutaj remis. MongoDB jest rewelacyjne, Cassandra też. Jak powiedziałem, co OP wybierze, to tak naprawdę nie ma wielkiego znaczenia (byle nie SQL ani Redis - bo to będzie w przyszłości problemem).

[Misiek08 285]

Redis można właśnie wziąć w przyszłości pod cache informacji gdzie jest plik. Stosowałem to przy małej ilości plików, ale dużym ruchu i 70 storage'ach. Sprawdziło się. Po prostu kluczem był plik_{ID}, a wartością były sprzecinkowane serwery, na których dany plik był (ew. jeden serwer jak nie było dupa).

[PapaSmerf 497]

Przy bardzo dużej ilości plików może mijać się to z celem (jeśli przyjmiemy, że staramy się oszczędzać zasobu), właśnie przez zużycie pamięci. Robiłeś testy ile MB Redis potrzebuje dla miliona rekordów?

Edytowano Sierpień 29, 2014 przez pedro84 (zobacz historię edycji)

[Gość nrm]

skad taki hejt na redisa?

[PapaSmerf 497]

Gdzie tu widzisz hejt?

[Gość nrm]

Skąd takie negatywne nastawienie do Redisa?

[PapaSmerf 497]

Gdzie Ty tu widzisz negatywne nastawianie do Redisa? Bo chyba nie u mnie, czyż nie?

[Gość nrm]

Skąd taka (jakakolwiek) opinia o Redisie?

 

(facepalm, że nie można się niczego dowiedzieć tylko trzeba sto razy pytać!)

[PapaSmerf 497]

To zadawaj normalne pytania? Widzisz jakiś hejt, jakieś negatywne nastawienie niewiadomo skąd wynikające. I w dalszym ciągu za cholerę nie wiem, co Ty masz na myśli.

 

---

 

Domyślam się, że chodzi Ci o to, żeby Redisa do tego typu danych nie używać. No bo po co skoro akurat do tego są lepsze rozwiązania?

Edytowano Sierpień 29, 2014 przez pedro84 (zobacz historię edycji)

[Insider 43]

Jeżeli posiadasz finansowanie z jakiegoś funduszu VC to e24files może wcale nie być jakimś super złym wyjściem. Zakładam jednak, że w firmie jeszcze nie podcieracie tyłków stuzłotówkami, dlatego proponuję rozejrzeć się na rynku serwerów dedykowanych. Tam jako mały gracz jesteś w stanie zejść z ceną o jakieś 5 razy w stosunku do cennika e24files, a jak masz większe zapotrzebowanie na przestrzeń storage oraz transfer to myślę, że za usługi o parametrach zbliżonych do tych widocznych na stronie e24cloud zapłacisz do 10 razy mniej.

[Wertop 0]

Widzę, że zainteresowanie tematem wzrosło

Otrzymałem ofertę znacznie lepszą w bardzo korzystnej cenie. Szczegółów nie będę zdradzał.

 

Tak jak napisałeś, Insider, stuzłotówkami tyłków nie podcieramy. Staram się znaleźć ofertę tanią, oczywiście bez przesady, bo będziemy chcieli zapewnić naszym potencjalnym klientom najwyższą jakość usług. Zapomniałem napisać, że hosting wystartuje w 2015 lub 2016 roku (jest w trakcie pisania), bliższej daty nie dam rady określić. Także trochę czasu zostało, ale lepiej być przygotowanym zarówno w funduszach, jak i w kwestii sprzętowej.

[pekus 31]

Autor wątku powinien najpierw się zastanowić, dlaczego duzi gracze tacy jak hotfile czy egofiles.com zwinęli się z rynku.

Albo w jakiej formie zapewni ochronę swoim klientom którzy będą wgrywali pliki nie posiadając zapewne licencji/praw autorskich do nich (zwłaszcza z wykorzystaniem swoich domowych łącz).

 

Dla przykładu ten portal też już zaczyna pękać...

 

http://di.com.pl/news/50478,0,Kancelaria_z_Wroclawia_zada_tysiecy_zlotych_za_udostepnianie_filmow_na_Chomikujpl-Marcin_Maj.html

 

Pociąg z w/w tematem dawno już odjechał...

Edytowano Sierpień 30, 2014 przez pekus (zobacz historię edycji)

[spindritf 240]

Z tego artykułu nie wynika, że zaczynają pękać. Dane użytkowników miały zostać pozyskane z akt postępowania karnego.

[Gość l3szcz]

Tylko skąd te dane się tam wzięły?
Postraszyli chomikuj zamknięciem a miał on być ostoją dla takich a nie innych materiałów i sie skończy z nim tak samo jak z kinomaniakiem.
Do logowania danych rzeczywiscie lepsze jest zastosowanie Mongo

Edytowano Sierpień 30, 2014 przez l3szcz (zobacz historię edycji)