Druckbare Version
Also ich habe dor keinen Abbruch und gerade getest mit einem Speed so um 100kb/s. Es liegt aber wahrscheinlich nicht an der Bandbreite sondern an der zu hohen CPU und oder Speicher Belastung. Weil der Seitenaufbau ist recht langsam.Zitat:
Zitat von Mane
Aber bis jetzt habe ich da noch keine Probleme gehabt.
grüße strex
Yep, vom Osterwochenende bis gestern herrschte aus unerfindlichen Gründen sowieso Ausnahmezustand - nicht nur auf unserem, sondern bei mehreren Mirrors, wie ich dort an den Längen der Warteschlangen sah (Position 343, warten nach 4 Stunden abgebrochen, bei anderen wieder DL mit nur 12 kbps trotz Warteschlangen-Einsatz) - obwohl einige unserer Optimierungsmaßnahmen schon griffen ;) Wir hatten mit einem Schlag plötzlich bis zum FÜNF-fachen der sonst vorher gezählten Besucher, obwohl wir bei den 2 größten Keysearchern nur ca. 4 Stunden/Tag überhaupt gelistet waren.
Bei den Keyseachern (zb. http://otrkeyfinder.com, http://otrkey.com) de-listen wir uns, wenn unser Mirror voll ist (weniger als 1 freier Slot oder Bandbreite >= 90% ausgelastet), damit keine Besucher verärgert sind, wenn sie über Keysearch bei uns landen und dann vor geschlossenen Türen stehen, nachdem es bei uns leider noch keine Warteschlange gibt. Ein neuerliches listing findet erst wieder bei einer Auslastung von <= 80% statt. Allerdings hat uns otrkey dieses Feature ein wenig eingeschränkt, da seit 1 Tag automatisiertes listing/de-listing nicht mehr geht. Der otrkey-Spider aktualisiert dies nun nur mehr alle Stunden, was wenig effizient ist, da beim Übergang von de-listung zu listing die Auslastung binnen 60 Sekunden von 0 auf 100% geht und spätestens dann wieder ein de-listing sinnvoll wäre ;)
Prinzipiell sagen wir uns Besuchern ja schon vor dem DL, mit welcher Speed sie in etwa rechnen können. Das Problem ist 'lediglich', daß sich die von den Usern in Anspruch genommenen Bandbreiten innerhalb des von uns zu Verfügung gestellten Rahmens (bis 1 mbps/Slot) oft sprunghaft ändern (meist nach oben, wenn zB ein anderer DL fertig wurde und so beim User Bandbreite für den DL von uns frei wurde).
Da der Durchschnittswert der DLs/User (ohne dabei an Grenzen des Servers zu stoßen) in der letzten Woche bei 240 kbps lag, stellen wir 50 DL-Slots zu Verfügung. Heute hat sich allerdings wieder gezeigt, daß mit 50 Slots nur 65% der Bandbreite ausgelastet wurde, also die durchschn. DL-Rate nur 156 kbps/Slot war :( Als ich gerade die Slots auf 55 raufsetzte, waren die gleich belegt mit 98% der Bandbreite. Wir lassen derzeit den Start neuer DLs nur zu, wenn <90% UNSERER Bandbreite ausgenutzt sind (d.h. 1,2 mbps sind auf jeden Fall frei) und noch mind. 1 Slot frei ist. Soweit, so gut. Wenn nun bei nahezu Volllast nur 3 User ihre Anforderung zB von ursprünglich 100 kbps auf 1.000 kbps erhöhen (Maximum, welches Slot hergibt), dann sinkt die durchschnittliche DL-Rate aller User um derzeit ca. 19 %, weil ja die maximale Bandbreite, die uns Provider zugesteht, nicht überschritten werden kann.
Sich derart schnell und stark ändernde User-Anforderungen gegenüber zu Zeitpunkt des DL-Starts lassen sich leider so gut wie nicht vorhersagen oder vorherberechnen. Manchmal (meist nachts, aber auch tagsüber) ändert sich kaum was, dann manchmal gigantische Sprünge binnen einer Minute bei 30% der DLs.
Das Ei des Columbus, den goldenen Mittelweg zwischen Serverauslastung und bestmöglicher Versorgung des einzelnen Users habe wir noch nicht gefunden, aber mit den steigenden Erkenntnissen, die aus den sich rapide vermehrenden statistischen Daten gezogen werden, können wir in kleinen Schritten optimieren. Gegenüber dem Status vor 1 Woche konnte die durchschnittl. Serverauslastung von 75% auf 86%, in der Zeit von 02:00-07:00 von 25% auf 60%, gesteigert werden. Das Kunststück, das uns noch gelingen muß ist, möglichst nahe an die Servergrenzen zu gehen ohne an diese dauerhaft zu stoßen und dabei bestmöglich den einzelnen User zu bedienen.
Prognosen, basierend auf Statistiken, sind leider aufgrund der dort nicht mehr vertretenbaren, großen Varianz/Standardabweichung kaum erstellbar, sodaß nur aufgrund kontinuierlicher Messung der aktuellen Parameter ad hoc reagiert werden kann. Lediglich ein einziger Trend lässt sich vorhersagen: Mo-Do sind die Anfragen zwischen 18 und 22 Uhr am stärksten ... auch, wenn wir bei den 2 größten Keysearchern de-listed sind ... soviel Stammpublikum? ;)
Im Anhang noch 2 Grafiken. Eine, wie es nicht sein sollte (von 8-21 Uhr mit wenigen Ausnahmen permanent am Limit, Nacht schlecht genutzt) und die andere, wo tagsüber nur am Limit gekratzt wird (bis 3 Uhr gute Auslastung, von 17-23 Uhr das Limit fast dauerhaft erreicht).
Gut das sich das gebessert hat. Ja über Ostern war ein kräftiger Ansturm zu verzeichen. Mal wieder Ferien gewesen;)
Also das script veröffentliche ich wenn´s fertig ist, da ich aber immer noch kein FTP-Zugang habe, kann ich das automatische abholen der Dateien noch nicht vervollständigen.
Sobald das geschieht und alles bei besten ist, werdet ihr das bekommen;)
Ich hab mal die aktuelle Statistik eines unserer Download-Server angehäng.
Grüße strex
mich frisst der pure neid :)
welcher server ist, was kostet der im betrieb, und wieviele DLs liefen da um 01:00 bei den 70 mbps traffic?
Also Server stehen bei dedibox.fr und ovh.de. Beide sind aber nicht die schnellsten bei Telekom-Kunden.
Server kosten zwischen 25 und 50€.
Hmm wieviel Downloads, also meine stat sagt 52.
Grüße strex
strex, noch mehr neid :)
flat-server mit 100 mbps-port (70 mbps tatsächliche spitze) mit 25-50 EUR ?
webspace muß ja auch ausreichend sein, sonst würde mirror wohl keinen sinn machen. wieviel?
wo kann ich 20 solche server bestellen? sind das eigene kisten oder nur miethardware? wenn miet, dann vserver oder dezidierte?
ich siedle sofort unsere kundenseiten um ... mich kostet hier in wien via eurorings 1 mbps flat 280,-/monat, genauso viel, wie 1 gbps national am VIX !!! 86% des traffics von 2,5-3 TB geht nach D ... mich kostet der mirror somit ca. 1800,-/monat allein an traffic und dabei habe ich nicht mal 15 mbps gesamt von housing-provider :(
Meiner Meinung nach funktioniert das Bestimmen der Bandbreite des Users nicht richtig. Zum Beispiel wird mir angezeigt, dass ich maximal mit 19 kB/s downloaden kann - bei DSL 3000! Evtl solltest du daran noch ein bisschen arbeiten ;)
Greetz
paddya
Hey Videoblitz,
respekt für deinen Server :-) Ansturm wohl, weil alle Leute (wie ich auch) allen leuten bescheid sagen, dass der Serber 1a ist :-)
Nun ist es wirklich schade, dass ständig die Seite überlastet ist. Aber könntest du es nicht einbauen, dass die Links trotzdem auswählbar bleiben?
Dann kann man die in die Warteschlange packen und alle minute einmal nachfragen, ob nun ein downloadslot frei ist :-)
MfG, foertel
Ich muß jetzt auch einmal etwas aufzeigen, was uns überhaupt nicht in den Kram passt:
Unser Download-Management ist zur Zeit noch recht einfach und leicht knackbar, aber grundsätzlich inzwischen sehr effizient gestaltet, sodaß jeder User maximale Download-Speed bekommt, sobald er über Website Download starten kann. Im Normalfall kommt der Server NIE an sein physisches Limit (13 mbps), auch wenn manchmal das Soft-Limit von 12 mbps geringfügig überschritten wird.
Nu gibt es gibt aber leider einige (wenige), die dieses Download-Management umgehen, indem sie Site den ganzen Tag über spidern und aus ihrem Spider-Cache dann fullspeed-Download starten, wann es ihnen passt und nicht dann, wenn noch Kapazitäten frei sind. Da dadurch ALLE anderen im Download eingeschränkt werden, wenn Server an das eingestellte Gesamt-Limit von 13 mbps gefahren wird, werden derartige User manuell gekickt und gesperrt, sobald ich so etwas entdecke. Sorry, kein Pardon bei derart kontraproduktiven Aktionen!
http://otr.softxl.net/hacker.png
Wir wissen, daß sich derartiges durch besser abgesichertes DL-Management - wie es auch andere Mirrrors machen - vorweg verhindern ließe. Es wird auch bei uns demnächst kommen. Derzeit liegt unsere Priorität beim sammeln und auswerten der Daten, um die schon sehr ausgereifte DL-Steuerung noch weiter zu optimieren. So wird u.a. auch eine 'kleine' DL-Warteschlange kommen, die die Auslastungslücken, die durch die unumgänglichen Delays bei listing/de-listing bei http://otrkeyfinder.com und http://otrkey.com entstehen, füllen sollen.
Auch ist geplant, für registrierte User mit zeitsteuerungsfähigem DL-Manager (FDM, Flashget), eine größere Warteschlange und einen 'scheduled' Download anzubieten, der in den wenig ausgelasteten Nacht-Zeiten automatisch startet und die benötigten Bandbreiten dafür auch vor-reserviert (first in, first served).
Also soll ich das so verstehen: Wenn ich einen Download bei otr.softxl.net starte und der Dl bei 25 kB/sec dahindümpelt, ich zur Kontrolle mal nen zweiten DL anschiebe, der sofort alles an Bandbreite aus meiner 2000er DSL-Leitung lutscht, dann liegt das an mir?Zitat:
Zitat von Videoblitz