We zijn uitleg verschuldigd. De afgelopen 2 dagen zijn er problemen geweest met Bloggen.be. We willen ons hiervoor uitgebreid excuseren en we stellen ALLES in het werk om dit te vermijden in de toekomst.
We willen zeker en vast open en transparant zijn naar onze bezoekers toe. Daarom dat u van ons ook een gedetailleerde en correcte uitleg krijgt.
Gisteren, maandag 28 april, zijn de blogs een tweetal uur offline geweest. Spijtig genoeg 's avonds tijdens de drukste periode. De oorzaak was een server die het fysisch heeft begeven. Het moederbord is stuk gegaan. Een computeronderdeel dat fataal is voor een computer als het stuk gaat. Van alle servers zijn er steeds meerdere (databases, webservers, mailservers...), behalve van de loadbalancer, en het was juist deze die het heeft begeven. Hierdoor werden de blogs onbereikbaar. We hebben onmiddellijk een interventie gedaan naar het datacenter en de server vervangen door een nieuwe die we in reserve hadden voor noodgevallen. Na de nodige extra configuraties en tests was alles terug online.
Vandaag, dinsdag 29/4, zijn er opnieuw problemen geweest. Teveel problemen, dat beseffen we. De problemen begonnen rond 11.45u en duurden voort tot ongeveer 16u. Daarna zijn er nog met korte perioden problemen geweest tot 17.30u. Dan ging het weer goed, tot ongeveer 22u, waarna het tot ongeveer 23.15u heeft geduurd. Dit keer was het probleem een aanval door hackers. De grootste aanval in onze geschiedenis hebben de hackers vandaag ingezet. Er werd een reusachtige DDoS-attack gericht op onze servers. Men had tienduizenden computers wereldwijd van mensen gehacked om vervolgens simultaan honderden aanvragen pér seconde naar onze servers te sturen. Er kwamen ongeveer 2 miljard aanvragen pér seconde naar onze servers toe. Een nooit geziene grootte van aanval. Het is duidelijk dat dit veel te veel is voor onze servers, waardoor deze extreem traag werden en overbelast geraakten. Hierdoor ging de website extreem traag, of kreeg je na een lange tijd een time-out. Alsof dat nog niet genoeg was, heeft men intussen ook nog effectieve hackpogingen gedaan naar de servers toe. Men heeft via zeer geavanceerde technieken proberen illegaal toegang te verkrijgen tot de servers via diverse veiligheidslekken, kraaktechnieken en andere hacktechnieken. De DDoS attack was blijkbaar een afleidingsmanouvre zodat we niet zouden merken dat men intussen aan het hacken was. We merkten het echter wel... Doordat het prioriteir is om een eventuele succesvolle hackpoging onmiddellijk te stoppen, werd er beslist om de servers tijdelijk stil te leggen en alle diensten te stoppen. Want stel dat een hacker binnen geraakt zou zijn, moeten we die onmiddellijk stoppen. Hierna werden alle servers, alle informatie (database, blogs, figuren, paswoordbestanden,...) gechecked of een hacker er iets met zou kunnen gedaan hebben. Telkens als iets terug groen licht kreeg, werd het terug online gezet. Op die manier kwam bvb. een aantal pagina's al vrij snel deze middag terug online, terwijl andere een stuk langer duurden. We hebben tientallen gigabytes aan loggegevens moeten doorlopen. Alles moest gechecked worden. Uiteindelijk blijkt dat de hackers geen succesvolle hackpoging hebben kunnen doen en nergens binnen geraakt zijn.
Tot overmaat van ramp ging de site deze avond opnieuw plat. Dit keer was het volledig buiten handen van ons. De uplink provider (het bedrijf dat de glasvezelverbindingen verzorgt en de verbinding geeft tussen uw provider (zoals Skynet, Telenet,...) en ons datacenter), hun routers hebben een fout gemaakt. Door de extreme DDoS attack waren de routertabellen niet helemaal in orde, wat bij een hoge bezoekerspiek deze avond tot uiting kwam. Onze servers werkten toen, maar de uplink provider stuurde alle aanvragen van bezoekers per ongeluk naar verkeerde servers. Zo kregen onze servers geen werk, en kon men de site niet bezoeken. De uplink provider heeft het uiteindelijk bij hun de routers gereset en dan was alles terug in orde.
Bloggers die tijdens de problemen hun blog hebben bijgewerkt hebben mogelijk een blanco blog gehad. Dit doordat tijdens het genereren van je blog dat er time-outs kwamen, waardoor de pagina's niet meer bijgewerkt werden. Je kon dit zelf terug in orde brengen door via de instellingen te gaan en dan naar "opnieuw genereren", of door opnieuw een bericht toe te voegen (of te wijzigen). Wie dit niet heeft gedaan, zal zijn blog sowiezo terug in orde komen deze nacht wanneer alle blogs opnieuw worden gegenereerd.
Deze nacht zullen er nog korte onderbrekingen zijn (minder dan 1 uur wordt verwacht), deze zullen ná 3u 's nachts zijn zodat er zo weinig mogelijk mensen last van hebben. Er worden tijdens deze periodes nog extra aanpassingen en uitbreidingen gedaan.
HET GOEDE NIEUWS We hebben ook goed nieuws. We doen namelijk al het mogelijke om dergelijke incidenten in de toekomst te vermijden.
1) De load balance server werd vervangen door een splinternieuwe server die dubbel zo krachtig is als de vorige. 2) Er wordt voor gezorgd dat als ooit de load balance server het nog eens begeeft, dat niet alles down gaat, een andere reserveserver zal het dan na zeer korte tijd (enkele seconden tot een minuut) overnemen. 3) We hebben een verdubbeling van bandbreedte waardoor een aanval in de toekomst dubbel zo groot moet zijn om opnieuw effect te hebben; eenzelfde zal dus geen ernstig probleem meer opleveren 4) Er werd 8 gigabyte supersnel RAM geheugen extra aangekocht en geïnstalleerd in de servers om nog sneller te zijn en meer aan te kunnen. Een aanval zal zo minder effect hebben. 5) Er werden extra supersnelle harde schijven aangekocht en geïnstalleerd in een RAID waardoor de servers nog meer aankunnen en ook zo een aanval minder effect zal hebben. 6) Het monitoringsysteem werd aangepast zodat er nog sneller mensen per SMS worden verwittigd voor een interventie om alles terug in orde te brengen bij eventuele problemen 7) Er wordt een nieuw (extra) firewall systeem geïnstalleerd om hackers nog beter buiten te houden en/of te detecteren.
Spijtig genoeg zijn er in deze wereld criminelen, hackers, die er zeer veel moeite voor over hebben om de grootste blogdienst van België plat te kunnen leggen. Wat voor plezier ze daarin hebben, is ons een raadsel. Wat ze doen is in elk geval zeer laag bij de gronds en idioot. Het zijn mensen die volgens onze mening in de gevangenis horen. Het ergste is dat politie geen moeite kan/wil doen om deze op te sporen en te berechten.
We hopen dat u toch tevreden blijft bij Bloggen.be. We zijn een volledig gratis blogdienst, maar doen alle mogelijke moeite om u de béste service te geven. Het Bloggen.be team heeft de afgelopen 48 uur amper geslapen en vrijwel continu met zware stress alles proberen op te lossen.
U mag er volledig op vertrouwen dat we werkelijk alles in het werk stellen om de blogdienst zo goed mogelijk te maken en te houden. Op korte termijn zullen er nog verschillende extra verbeteringen komen. Zowel op gebied van functionaliteit, als op hardware vlak waardoor er meer opslagruimte en hogere snelheden kunnen worden verkregen.
De blogs zijn deze avond iets meer dan een uur onbereikbaar geweest.
Dit kwam doordat een belangrijke server gecrashed is. Een hardware falen. Hierdoor moesten we ter plaatse naar het datacenter en de server vervangen door een andere, en vervolgens nog de nodige instellingen aanpassen.
Onze excuses voor het ongemak. Er wordt gezorgd voor een oplossing zodat dit in de toekomst niet meer zou mogen voorkomen. Meer informatie volgt morgen.
