Mogelijk hebben jullie een paar keer last gehad van spiders die zich misdroegen.
Gisteren rond 08:30 hadden we bezoek van een Oekraïense spider die een stuk of 100 gelijktijdige verbindingen opende vanaf uiteenlopende IP-adressen, net als bij een DDoS attack, en eergisteren rond 18:00 zelfs zo'n 200 gelijktijdige verbindingen. De server slaat zoveel mogelijk opgevraagde gegevens op in het geheugen, om deze bij een volgende aanvraag zo snel mogelijk te kunnen tonen. Als het geheugen vol is, worden de minst recent opgevraagde gegevens verwijderd, wat gewoonlijk ongemerkt gebeurt. Dat wordt een ander verhaal als plotseling een abnormale hoeveelheid minder courante informatie wordt opgevraagd, want dan moet de server ineens veel ruimte vrijmaken. Dat kan gedurende een korte tijd tot vertragingen leiden, en is vermoedelijk al wat vaker gebeurd in de afgelopen weken.

- een alledaagse grafiek met het aantal connecties.

- diezelfde grafiek op 12 en 13 augustus, waarbij gewoonlijke gemiddelden geheel in het niet vallen.
De meest misdragende spiders/crawlers hebben sinds gisterenochtend geen toegang meer tot de server. Door de SEO-hype en het toenemend aantal z.g.n. analysten, alsmede steeds professionelere botnets die zich van deze informatie bedienen, zal dit in de toekomst nog wel vaker voorvallen.
Vooralsnog niets onoverkomelijks, maar dan weet je waardoor het kan komen als het soms even iets minder soepel loopt. Ter indicatie: de portal en de wiki cachen minder gegevens. Die zullen nog wel soepel lopen als het forum nog eens wordt gehinderd a.g.v. een extreme piekbelasting.