WSF tussen 01.00 en 01.30 uur

Gebruikersavatar
Berichten: 1.413

WSF tussen 01.00 en 01.30 uur

Het WSF ligt tussen 01.00 en 01.30 uur altijd een aantal minuten plat, nu valt daar wel overheen te komen maar wel ben ik benieuwd wat de oorzaak is van dit euvel.

Gebruikersavatar
Berichten: 17.659

Re: WSF tussen 01.00 en 01.30 uur

Zo uit mijn hoofd (moet het ff met Miels checken) zeg ik dat er dan een backup gemaakt wordt van de forum-database. Deze database bevat de onderwerpen, berichten, gebruikers enz. en het is dus belangrijk dat dit niet verleroren gaat bij een crash van de server oid. Daarom wordt er dus dagelijks een backup gemaakt en dat gebeurt 's nachts.
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -

Gebruikersavatar
Beheer
Berichten: 15.202

Re: WSF tussen 01.00 en 01.30 uur

Er vinden iedere nacht 2 soorten werkzaamheden plaats: backup van de volledige database en een optimalisatieproces van alle tabellen. Van die 1e weet ik zo even niet hoe laat dat gebeurt (zou inderdaad best 1 uur kunnen zijn). De optimalisatie gebeurt iets na 5 uur (omdat we dan de minste bezoekers hebben).


Ik zal eens nakijken hoe het zit met het tijdstip van de backups, en dit als dat zin heeft wat verplaatsen.
Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic

Gebruikersavatar
Berichten: 1.413

Re: WSF tussen 01.00 en 01.30 uur

Bedankt voor de informatie.

Het gaat op dat tijdstip maar om een paar minuten, het zou leuk zijn als het moment naar een later tijdstip verplaatst wordt, maar wat mij betreft geen noodzaak.

Vaak zijn er op dat tijdstip tussen nul en vier geregistreerde gebruikers actief.

Gebruikersavatar
Berichten: 24.578

Re: WSF tussen 01.00 en 01.30 uur

Soms ben ik er dan ook nog en heb dit ook al eens gemerkt.

Als dit inderdaad door de back-up veroozaakt wordt, kan die ook beter naar een later uur.
"Malgré moi, l'infini me tourmente." (Alfred de Musset)

Berichten: 92

Re: WSF tussen 01.00 en 01.30 uur

Of je gooit MySQL de deur uit en stapt over naar een Oracle database. Daar kan je online backuppen en online je statistieken berekenen. :)


Zal ik even een offerte maken? 8)

Gebruikersavatar
Berichten: 7.224

Re: WSF tussen 01.00 en 01.30 uur

Daar los je het probleem niet mee op.
If I have seen further it is by standing on the shoulders of giants.-- Isaac Newton

Berichten: 92

Re: WSF tussen 01.00 en 01.30 uur

euh... en waarom niet? Nu gaat het forum enkele minuten plat voor de backup, dwz er wordt naar alle waarschijnlijkheid een copie genomen van de MySQL database terwijl deze gesloten is en het forum dus niet toegankelijk is.


MySQL is dan wel gratis maar zijn online backup mogelijkheid is dit dan weer niet (opgekocht door Oracle). Daarom wordt MySQL bijna nooit online gebackuped.


Zonder ver in detail te gaan wou ik gewoon zeggen dat je bij Oracle een online backup kan nemen, dwz dat de database nog steeds toegankelijk is tijdens het nemen van een backup, zelfs als deze backup enkele uren in beslag neemt, en zelfs als er 1000 man op het forum zit. Die gaan er niets van merken.


Maar dat is als schieten op een mug met een kanonbal. Ongetwijfeld wordt dit forum gehost op een shared server (samen met andere websites waar WSF niets over te zeggen heeft) en is Oracle helemaal geen optie. Bovendien is phpBB dacht ik niet ontwikkeld om op Oracle te draaien.


Maar laat dit de discussie niet te ver afdwalen.


Het backuptijdstip verplaatsen is de enige oplossing. Maar zoals ik zei als WSF gehost is bij een externe firma en draait op een shared omgeving hebben jullie daar weinig of niets over te zeggen. Tenzij het WSF natuurlijk zoveel trafiek genereert dat die hostingfirma hem dedicated op een afzonderlijke server geplaatst heeft.

Gebruikersavatar
Berichten: 7.224

Re: WSF tussen 01.00 en 01.30 uur

De backup wordt door de server zelf gemaakt (dus server-sided en niet 'online'). Vanwege de grootte van de database zal naar alle waarschijnlijkheid de mysql server of de load op de server zeer hoog zijn, waardoor andere requests (van bijvoorbeeld Apache) niet kunnen worden behandeld. De mysql server hapert namelijk ook nog wel eens als er veel bezoekers op het forum zijn.
If I have seen further it is by standing on the shoulders of giants.-- Isaac Newton

Berichten: 92

Re: WSF tussen 01.00 en 01.30 uur

Kleine verwarring over het woordje online denk ik.


Als van een database een online backup wordt genomen dan wil dat zeggen dat de database niet gestopt wordt voor ze gecopieerd wordt. Een offline backup wil zeggen dat de database eerst gestopt wordt en dat deze daarna gecopieerd wordt.


De keuze of een database online of offline wordt gebackuped hangt af van de toepassing (mag deze gestopt worden of niet) en van de gebruikte technologie (is deze mogelijkheid wel voor handen).


Een database zoals deze van webshops die 24u/7d beschikbaar moeten zijn (dwz ook geen paar minuten per dag stil liggen) worden dus altijd online gebackuped.


Natuurlijk is het nemen van een online backup veel complexer dan het nemen van een offline backup. Het resultaat van een backup moet uiteraard steeds een consistente copie zijn van de bestanden waaruit de database is opgebouwd. 't Is duidelijk dat als je files van een database copieert terwijl de database up and running is (en deze files dus constant geaccessed worden), er speciale mechanismen opgestart moeten worden die dit mogelijk maken (die deze files wel consistent houden ondanks de trafiek).


Niet elke database heeft deze mechanismen ingebouwd. Bij MySQL bijvoorbeeld is dit mechanisme een betalende optie wat je moet bijkopen om te kunnen gebruiken.


Uiteraard wordt een backup altijd server-side uitgevoerd.


Zijn er statistieken van het WSF publiek beschikbaar?


Bijvoorbeeld de bezoekersverdeling van het WSF over 24u gezien?

Hoe groot is de WSF database inmiddels geworden en hoe snel groeit deze aan?

Als de WSF database echt groot is en zeer hevig gebruikt wordt dan moeten jullie toch een aantal zeer specifieke mensen in dienst hebben? Of is dit gewoon de hostingfirma die dit voor zijn rekening neemt?


Persoonlijk vind ik (vanuit mijn job) dit zeer interessante informatie maar kan begrijpen dat deze niet publiek is.

Gebruikersavatar
Berichten: 4.810

Re: WSF tussen 01.00 en 01.30 uur

Voor die enkele minuten dat het forum offline is zou ik geen cent betalen. Tijd heb je zat, geld meestal niet :) En zeker niet als je weet dat het hier eigelijk allemaal om vrijwilligers werk draait :)

Gebruikersavatar
Beheer
Berichten: 15.202

Re: WSF tussen 01.00 en 01.30 uur

Het backupmoment is overigens verplaatst van 1 uur naar 5 uur
Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic

Gebruikersavatar
Moderator
Berichten: 51.270

Re: WSF tussen 01.00 en 01.30 uur

Het backupmoment is overigens verplaatst van 1 uur naar 5 uur
Waarom zat ik dan een kwartiertje terug (ca 01.05) nog ruim 5 minuten te wachten terwijl hij probeerde een bericht van me te plaatsen????
ALS WIJ JE GEHOLPEN HEBBEN...
help ons dan eiwitten vouwen, en help mee ziekten als kanker en zo te bestrijden in de vrije tijd van je chip...
http://www.wetenscha...showtopic=59270

Gebruikersavatar
Beheer
Berichten: 15.202

Re: WSF tussen 01.00 en 01.30 uur

Waarom zat ik dan een kwartiertje terug (ca 01.05) nog ruim 5 minuten te wachten terwijl hij probeerde een bericht van me te plaatsen????
Da's een goede vraag! Ik zal 't nog eens nakijken...
Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic

Gebruikersavatar
Beheer
Berichten: 15.202

Re: WSF tussen 01.00 en 01.30 uur

Het antwoord: er worden dagelijks 2 backups gemaakt: 1 door ons zelf, en 1 door de provider (die dat in principe doet voor zijn eigen doeleinden; die backup is dus niet per definitie door ons te gebruiken als dat nodig is).


Beide backupmomenten stonden op 1 uur. Alleen de backup die wij maken kunnen we echter verschuiven, en dat is dan ook gebeurd. Dat zou de belasting dus wel wat moeten reduceren (en de tijd dat het forum niet toegankelijk is dus ook).
Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic

Reageer