Distrosystem für Mirror ohne FTP [Archiv]

stubidoo

29.07.2007, 14:50

Hallo,

da dies hier im anderen Thread wohl ein wenig untergegangen ist:

Um nochmal mein Projekt kurz vorzustellen:
Ich habe ein System entwickelt, mit dem Mirrorbetreiber ohne FTP-Zugang trotzdem an ihre Dateien kommen.
Dabei sharen die Mirrorbetreiber ihre Dateien und können im Gegenzug dazu von den anderen Mirrorbetreibern ziehen.
Das Ganze besteht aus mehreren PHP-Skripts, die auf den Mirror geladen werden.
Alternativ gibt es ein von Taube entwickeltes bash-Skript für den Download (für das ich allerdings keinen Support leiste).
Diese Dateien kann man hier (http://distrosystem.ath.cx/) (nach Registrierung) als Datei herunterladen.

Durch ein ausgeklügeltes Ratio-System wird Dauerleechern dabei einen Riegel vorgeschoben.

Da bisher nur 4 Mirror teilnehmen, ist die Auswahl an Files (derzeit ~650 verschiedene) noch etwas mager. Wir suchen daher noch Mirrorbetreiber, die es leid sind, GWP zu opfern und unzählige Mirror auf brauchbare Links abzusuchen und sich uns anschliessen wollen, um ein möglich grosses Netzwerk zu bilden.

Skripts und Informationen gibts auf OrangeSpace.de im Chat (http://www.orangespace.de/Chat.67.0.html).

Gruß,
Stu

EDIT: Damit das Skript bei euch funktioniert, müsst ihr in die Datenbank eingetragen werden. Dies geht hier (http://distrosystem.ath.cx/)

UPDATE 19.10.2007, 14:50 Uhr: Das Frontend ist online: http://distrosystem.ath.cx
UPDATE 20.10.2007, 12:15 Uhr: Neue funktionierende Skriptversion verfügbar. Bitte updaten!

Taube

31.07.2007, 10:29

Hallo,

leider ist die Version des Download-[Shell]Skripts im oben verlinkten Paket veraltet - war es leider schon zum Zeipunkt als das Paket erstellt wurde!

Die aktuelle Version des Download-Skriptes: http://89.238.64.208/files/orangespace.de_distro/orangeget/orangeget_070729_2325.sh

Oder als Permanentlink: http://89.238.64.208/files/orangespace.de_distro/orangeget/orangeget.sh

Taube

stubidoo

31.07.2007, 12:09

Post entfernt.

masterm

31.07.2007, 23:48

Finde ich eine SEHR gute Idee, da somit die Files schneller verbreitet werden können, und die FTP-Zugänge zu OTR nicht mehr voll beansprucht werden somit eine Entlastung für OTR.

Ich möchte hier ein kleines Beispiel geben:

>Schritt 1
OTR-FTP Datei -> Mirror 1

nach 4 Minuten*

>Schritt 2
Mirror 1 -> Mirror 2

Nach 8 Minuten*

>Schritt 3
Mirror 1 -> Mirror 3
Mirror 2 -> Mirror 4

Nach 12 Minuten*

>Schritt 4
Mirror 1 -> Mirror 5
Mirror 2 -> Mirror 6
Mirror 3 -> Mirror 7
Mirror 4 -> Mirror 8

Nach 16 Minuten*

>Schritt 5
Mirror 1 -> Mirror 9
Mirror 2 -> Mirror 10
Mirror 3 -> Mirror 11
Mirror 4 -> Mirror 12
Mirror 5 -> Mirror 13
Mirror 6 -> Mirror 14
Mirror 7 -> Mirror 15
Mirror 8 -> Mirror 16

Nach 20 Minuten*

Nach Schritt 5 wäre also ein File schon auf 16 Mirrors verfügbar und das nach ca. 20 Minuten.
Nach 10 Schritten wäre das File schon auf 512 Mirrors verfügbar und das nach ca. 40 Minuten!!!!

* Ich rechne hier mit einer Datei von 500MB und einer Geschwindigkeit von 2MB/s

Duch das sehr gute System (ich habe es auch schon getestet und setze es ein) können große Dateimengen in sehr kurzer Zeit auf viele Mirrors verbreitet werden, was Vorteile nicht nur für User und Mirror Betreiber bringt, sondern OTR kann gleichzeitig um ein vielfaches entlastet werden.

Ich möchte daher allen Mirror Betreibern ans Herz legen, mit in dieses Projekt einzusteigen!!

http://www.orangespace.de/Chat.67.0.html

AK-Palme

01.08.2007, 03:46

masterm

01.08.2007, 03:50

Könnte man das ganze nicht mit Bittorrent o.ä. einfacher gestalten? Also ein Tracker nur für die Mirrors und die Torrents werden per FTP verteilt? Wenn man den Upload entsprechend einstellt würde das noch flotter gehen..

Wär doch ein Versuch wert..

Ich habe die Scripte nicht gemacht. Die Macher werden sich da schon ihren Teil bei gedacht haben.

Das mit Bittorrent zu lösen war schon des öfteren im Gespräch, wurde aber nie getestet (wird seine Gründe haben).

Am besten wäre es, wenn man das erst mal richtig ausprobiert!! Das heißt einfach mal die Scripte hohlen und testen. Feedback abgeben und dann kann man ja weiter sehn.

Xeranon

01.08.2007, 12:05

Viele Anbieter erlauben auf den Servern zwar den Traffic und die OTR Files, gegen einen Torrent-Client auf dem Server hätten Sie dann aber was... wäre auch noch n Hindernis ;)
Das System hier funktioniert eigentlich ganz gut ;)

MKay

01.08.2007, 12:09

Torrent war auch meine Idee.
Aber es gibt wohl zu viele Hosting-Provider, die FileSharing auf den Servern verbieten^^

stubidoo

01.08.2007, 12:41

im Übrigen braucht man für BT einen eigenen Server. Das Distrosystem funktioniert auch auf einer shared-Hosting-Umgebung.

Starrr

01.08.2007, 14:37

Hmm, wenn du meinst ...
Aber wenn mein Servernachbar torrent installiert und dabei genau die machbaren Fehler auch macht steig ich dem Provider mehr als auf dem Kopf (und bestimmt nicht nur ich).
Meinste die Provider verbieten irgendetwas weil es ihnen Spass macht oder vielleicht doch weil es einen Grund haben könnte ??
Traffic kanns nicht sein, auch Servern ohne Trafficflat wird es verboten ...

In diesem Sinne

stubidoo

01.08.2007, 15:13

da würd mich doch mal interessieren, wie man torrentflux mit einer (wie es die meisten Hoster haben) Begrenzung der Skriptlaufzeit zum Laufen bringt ...

Mach Du halt von mir aus Torrent. Wenn Du meinst, dass es so viel besser ist. Aber heul nachher nicht rum wegen den ganzen Leechern.

Gruß,
Stu

Taube

01.08.2007, 15:19

Könntest Du bitte aufhören zu flamen! Dass Du schnell pampig wirst haben wir bereits im IRC feststellen können. Es ging nur darum, dass ich torrent auch besser fände, mich aber deinem Meisterprojekt konstruktiv einbringe weil ich um die Probleme mit torrent weiß! :(

stubidoo

01.08.2007, 15:32

das hat nicht viel mit flamen zu tun.
alle schreien, dass es scheisse ist, aber keiner tut was.

anfang juli haben noch alle gschrien, dass es ja ach so scheisse ist, dass keiner mehr dateien kreigt, weil der MV tot ist und keiner n ftp-zugang hat.

jetzt gibts ne alternative und es beteiligt sich keiner dran. super. da hätt ich mir die arbeit echt schenken können.

EDIT: über torrent wird ja schon seit mehreren monaten diskutiert. wieso macht es keiner, wenn es ach so einfach und schnell und super ist?

Starrr

01.08.2007, 15:48

@stubi
Bei einem solchen Projekt brauchst du einen sehr langen Atem.
Gib nicht auf ;) Auch wenn eine Frustphase auftaucht.
Torrent hat vorteile, ja, aber leider auch ein paar Nachteile an denen im mom von seiten OTR gearbeitet wird. Nur noch lässt sich das Anti-Leech zu leicht umgehen. Sobald das System läuft wird es auch starten. Was die Mirror dann aber nicht nutzlos machen wird ...

Ich geh dann mal den Flame suchen, irgendwie find ich den nicht *grübel*

strex

01.08.2007, 16:08

Torrent für Mirrorbenutzer wird kommen.
Daran bastel ich schon seit Tagen. Jezt endlich kann ich per PHP und perl torrent genieren. Bald können User wählen ob Sie torrent als Download benutzen wollen oder nur DDL. Im torrent wird dann aber eine Webseedadresse speziell für den User enthalten sein. Die aber erst aktiv ist, wenn er die Warteschlange durchlauf ist.

Das dauerd aber noch ein paar Tage.

Grüße strex

Starrr

01.08.2007, 16:38

hm ?
Auf deinem Mirror, oder wie ?

strex

01.08.2007, 17:10

Jap, user können dann entscheiden ob Sie Highspeed-Download, Lowspeed-Download oder torrent inklusive Webseed haben möchten.

Ist aber alles noch in der mache.

Grüße strex

otrhq.de

05.08.2007, 11:40

Nachdem ich jetzt mal das Skript installiert habe und auch erfolgreich angemeldet bin, bringe ich doch gleich zwei Verbesserungsvorschläge an:
1. Wildcards erlauben
Das würde natürlich bedeuten, dass der Orangespace-Zentralserver eine Liste führen müsste, wer welche Dateien schon einmal erhalten hat, damit niemand doppelte Files bekommt.
Allerdings muss man jetzt die Files manuell eintragen, damit geht die (von mir) erhoffte Automatisierung nicht. Jedenfalls nicht so einfach. Alternativ könnte man auch die Dateiliste aus einer externen Datei einbinden ($otrkeys = file('filestodownload') o.ä.), die man dann kompliziert durch Abrufen und Parsen der Distro-Liste automatisch erstellen könnte.

2. Umfassendere Auswahl an neuen Files
Das liegt natürlich daran, dass bisher noch wenige Mirror mitmachen. Allerdings fällt auf, dass die Liste zwar Files von Februar enthält, aber leider nicht die HQ-Files von gestern (die ich eigentlich bräuchte). Klar, Netzeffekte. Wenn mehr Mirror dabei sind, wird es auch attraktiver, ergo mehr Mirror, etc.
Was man vielleicht noch einbauen könnte, wäre ein Request-System für den Mirror, der direkt vom OTR-FTP zieht. Denn bisher bietet der ja nur an, was er auch servt. Wenn ich schon manuell runterlade, kann ich das dann ja auch über die otrkey-Suche rausfinden und runterladen, wie bisher auch.

Alles in allem aber eine sehr gute Idee!

masterm

05.08.2007, 15:07

Das System würde im ganz großen Sinne wirklich nur mit den Wildcars sinn geben.

Zum anderen ist es so wie stubidoo gesagt hat, es gibt keinen Mirror mit FTPZugang der da mitmacht (ich glaube ich bin der einzigste).

strex

05.08.2007, 18:44

So leute, ich kann euch wohl etwas positives vermelden. Scheinbar schaffen wir es aber nächsten Monat, einen Server mit 1Gbit/s Anbindung zu beschaffen. Dann könnte ich euch einen Zugang schaffen. Da ich einen FTP-Zugang besitze, könnte ich das besagte Requestsystem schreiben und auch betreiben. Somit könnte die Aktion noch besser laufen.

Derzeit fehlen uns aber leider noch 49% von 130€ an Spenden, sollte einer sich beteiligen wollen...wäre ich sehr glücklich.

@stubidoo werde dann eine extra Schnittstelle bereitstellen um die Requests in unser Tasksystem einzutragen. Dazu melde ich mich aber noch bei dir.

Grüße strex

otrhq.de

05.08.2007, 19:54

Stubidoo: So geht das natürlich auch. Gute Idee!
Strex: Hört sich gut an. Wenn die Affili-Auszahlung da ist, spendier ich mal was.

Raus

17.10.2007, 20:07

du kannst auch einen admin fragen ob er den geschlossenen tread wieder öffnet!!!

wenn er sinn darin sind macht er es!:rolleyes:

1.
Es ist wenig sinnvoll, ganze Beiträge zu zitieren. Ein zitieren des Edit hätte ausgereicht.

2.
Um einen Thread wieder zu öffnen bedarf es keines Admin, das dürfen wir Mods auch.

stubidoo

17.10.2007, 20:10

alles klar, danke.

Murphy43

17.10.2007, 20:11

alles klar, danke.

Soll der Titel noch geändert werden oder ist es ok so?

stubidoo

17.10.2007, 20:14

ist ok so. btt.

mschafhuber

17.10.2007, 21:01

ich hab mal eine kleines Formulareingearbeitet...
http://files.mschafhuber.net/distro/distro.zip
vllt. gib es mal ein install-Script...

XeroX1504

19.10.2007, 15:55

da aber im moment kaum jemand das distrosystem nutzt und die neue version eine doch etwas andere struktur (auf dem hauptserver) mit sich bringt, werde ich wohl die beiden mirror, die derzeit als einzige aktiv sind, aus dem system löschen und im gegenzug einfach mal die mirrorbetreiber ohne ftp-zugang direkt ansprechen. ich verstehe leider nach wie vor nicht, wieso hier kaum jemand mitmachen will. liegt es ... an mir? ):

Ich denk mal, dass keiner Bock hat sich die Arbeit zu machen, weiß es auch nicht genau. Wenn der Prophet nicht zum Berg kommt, muss der Berg zum Prophet kommen. Oder war es anders rum? Egal. Ich denke, du solltest die Mirrorbetreiber direkt ansprechen und so versuchen sie zu überzeugen, weil dein System eigentlich gut ist!

Shouter

19.10.2007, 16:32

Ich denk mal, dass keiner Bock hat sich die Arbeit zu machen, weiß es auch nicht genau. Wenn der Prophet nicht zum Berg kommt, muss der Berg zum Prophet kommen. Oder war es anders rum? Egal. Ich denke, du solltest die Mirrorbetreiber direkt ansprechen und so versuchen sie zu überzeugen, weil dein System eigentlich gut ist!

hab mir gerade das script angeschaut, so wie das aktuell ist werde ich das NICHT einsetzen, weil:

1. der download läuft über php -> man müsste die scriptlaufzeit erhöhen was ich aber nicht will
2. der upload läuft ebenfalls über php -> bem Downloadserver ist php inaktiv aus performance Gründen

ich würde beim upload gerne einen redirect zum File machen, wenn ich das richtig gesehen habe kann euer php-script das nicht !?

Gruß,
Ralf

stubidoo

19.10.2007, 16:39

wenn du das script richtig durchgesehen hättest, hättest du festgestelllt, dass der upload gar nicht über php läuft (sonder über symlinks) und der download nicht gezwungenermaßen (download.sh --> alternative für die shell).

-----

um nochmal kurz den stand der dinge upzudaten: bis etwa heute abend wird das distrosystem nicht funktionieren, da ich gerade die scripts alle an die neue umgebung anpasse. dafür wird dann heute abend wahrscheinlich schon das resuming und das hashing funktionieren (:

gruß,
stubbi

mschafhuber

19.10.2007, 17:43

ich bin garde dabei den Fehler in meiner Version zu beheben...

Shouter

19.10.2007, 17:45

stubidoo

19.10.2007, 17:52

habs gesehen :P

nichtsdestotrotz empfehle ich die php-version des downloads. die kann nämlich ab gleich auch resumen (;

mschafhuber

19.10.2007, 17:59

^^

ich freu mich schon, kannst du dann vllt. gleich schauen, ob du meine Version irgendwie einarbeiten kannst (;

stubidoo

19.10.2007, 18:06

deine version von was?

mschafhuber

19.10.2007, 18:28

die mit dem installscript und mit dem Formular...

Shouter

19.10.2007, 18:53

in diesem fall nicht.

dann schreib ich mir halt was eigenes :D

mschafhuber

19.10.2007, 19:30

neue Version!
Fehler gefixt, und Fileliste eingebaut...

EDIT: File entfernt (Bugs....)

stubidoo

20.10.2007, 02:10

@mschafhuber:
du hast irgendwas am script verändert, sodass es nicht mehr funktioniert. bitte dringend korrigieren.
in zukunft bitte änderungen ausgiebig testen und dann über mich veröffentlichen. sonst macht hier bald wirklich keiner mehr mit.

stubidoo

20.10.2007, 11:08

ich meinte die remote.php ... die funktioniert bei deinem skript nicht.

mschafhuber

20.10.2007, 11:20

an der remote.php
hab ich nichts verändert...

stubidoo

20.10.2007, 11:31

tausch deine doch bitte mal aus gegen die, die man auf distrosystem.ath.cx runterladen kann.

mschafhuber

20.10.2007, 11:38

mach ich

(Zeichenbegrenzung)

stubidoo

20.10.2007, 11:59

@mschafhuber: komm mal bitte in diesen Chat (http://www.orangespace.de/Chat.67.0.html). Sonst kann ich Deine Änderungen nicht einbauen.

UPDATE 20.10.2007, 12:15 Uhr:
Neue funktionierende Skriptversion verfügbar. Bitte updaten!

UPDATE 21.10.2007, 18:45 Uhr:
Ich rate aus Sicherheitsgründen dringend von der Benutzung des Skriptes von mschafhuber ab.

UPDATE 22.10.2007, 01:18 Uhr:
Habe nochmal eine neue, bugbereinigte Version (v0.0.18) der Skripte hochgeladen.
Wer updaten möchte, sollte alle Dateien ausser die config.php durch die neue Version ersetzen.

EDIT:

Ist jemand mit einem Flatrate-Server bereit, diesen für das System zur Verfügung zu stellen?
Zumindest mit einem gewissen Kontingent für die gefragtesten Dateien, wäre das sehr toll. Mittlerweile sind übrigens ein knappes Dutzend Mirrorbetreiber angemeldet.
Was ist mit otrload.de, otr-download.de, otr24.de, otr-files.de oder mirror-load.de?

Weiss jemand, wer den Mirror ahnungslos.ch betreibt?

Shouter

27.10.2007, 18:12

Ist jemand mit einem Flatrate-Server bereit, diesen für das System zur Verfügung zu stellen?
Zumindest mit einem gewissen Kontingent für die gefragtesten Dateien, wäre das sehr toll. Mittlerweile sind übrigens ein knappes Dutzend Mirrorbetreiber angemeldet.
Was ist mit otrload.de, otr-download.de, otr24.de, otr-files.de oder mirror-load.de?

Weiss jemand, wer den Mirror ahnungslos.ch betreibt?

da ich in 1 Woche Prüfung habe werde ich mich vorher nicht hinsetzen und dein Script an meinen Mirror anpassen. Danach kann man drüber reden!