V posledních měsících roste počet našich uživatelů a velikost jejich dat. Vážíme si této důvěry a ve snaze zajistit plynulost Evolia jsme začali každé ráno zvyšovat výkon, aby jste mohli pohodlně pracovat. Vždy jsme chtěli a chceme být upřímní, proto píšeme tento článek. Minulý čtvrtek (12. listopadu) jsme zaznamenali významné zpomalení celého Evolia, kvůli tomu, že zvýšení výkonu neproběhlo správně. Přečtěte si proč se to stalo, jak jsme to opravili a jak si to hlídáme do budoucna.
Vysvětlení v kostce
- Ve čtvrtek 12. listopadu v 6:12 hodin jsme zaznamenali významné zpomalení odezvy serveru
- Začali jsme hledat příčinu a způsob opravy
- Rutinní způsoby opravy nezafungovaly
- Stopy vedly do skriptu, který spouští přídavné servery
- Příčina: fakticky nenaběhly přídavné serveru
- Po dvou hodinách systém běží na plný výkon
- Navyšujeme celkově výkon a přidáváme preventivní opatření
Podrobnější vysvětlení
Každá advokátní kancelář má na našich serverech svou (samostatnou) databázi. Už je jich přes 400. Podle aktuálního zatížení serveru se automaticky přidává výkon z cloudu. Obrazně řečeno se zapnou přídavné motory (servery). A ony se nezapnuly a Evolio necelé dvě hodiny jelo „zpomaleně“.
Jak jsme to zjistili
Automaticky monitorujeme běh systému, mj. i dobu zpracování požadavku. Jako požadavek si představte třeba odeslání datové zprávy, rozkliknutí zakázky nebo uložení výkazu práce. To by mělo proběhnout za desetinku vteřiny. Najednou však doba odbavení požadavku vyskočila až na 2 sekundy. To nám spustilo automatickou výstrahu a začali jsme to řešit.
V čem byl problém
Podle monitoringu serveru všechny služby normálně fungovaly. Jak databáze, tak webserver. Spuštěné byly i dva „přídavné“ servery. ALE hlavní server byl vytížený na 90 % a přídavné sotva na 1 % výkonu. Jakoby běžely naprázdno.
A tady byla chyba. Náš „zapínací“ skript správně vyhodnotil potřebu přidat výkon a servery zapnul. Ty se tvářily zapnuté, avšak fakticky nenaběhly. Bylo to způsobené specifickou chybou v MS Cloudu (nahlásili jsme ji a řeší se její oprava).
Co jsme udělali teď i do budoucna
- Upravili jsme spouštěcí skript. Nově nekontroluje jen odezvu přídavného serveru, ale také odešle požadavek do databáze a ověří jeho provedení.
- Spouštíme přídavné serveru už při vytížení hlavního na 65 %.
- Navýšili jsme i základní výkon hlavního serveru.
- Během tohoto týdne ještě přidáme samostatný server, který bude zpracovávat jen požadavky uživatelů.
Jen pro představu, co systém běžně zvládá. Třeba jen z insolvenčního rejstříku každý den aktualizujeme data o 150.000 insolvenčních řízeních. Nebo najednou generujeme a odesíláme 10.000 platebních příkazů. A běžně to žádný uživatel při práci s advokátní agendou nezaznamená.
Zpomalení nás mrzí a omlouváme se za něj.
Pasti domácího internetu při Home Office
Pro dobré fungování Evolia je samozřejmě důležité i to, jak funguje vaše připojení k internetu. Pokud jste doma na Home Office, měli by jste vědět, že většina přípojek domácností je sdílená. Můžete být doma sami, ale když si sousedovy děti pustí Netflix a ještě k tomu sjíždějí YouTube, tak tím ovlivní i stav internetu u vás doma.
O rychlosti vašeho internetu se můžete přesvědčit pomocí služeb, které změří jeho rychlost. Použít můžete například český rychlost.cz nebo světově nejpopulárnější speedtest.net . Pro srovnání můžete použít oba dva, jen je nespouštějte zároveň 🙂
