db.dobo.sk

Zaujímavý problém, ktorý riešil v práci môj kolega. ďalej

Tento prehlad je excerpt z tohoto kratkeho clanku a z tohto dlheho clanku. ďalej

OOM killer je štandardná linuxová vec v managemente pamäte. Vzhľadom na to, že linux používa virtual memory a má necnosť, že dovoľuje alokovať aplikácii viac pamäte, než má k dispozícii (overcommit), občas je nutné nejaký proces odstreliť, keď pamäť dôjde. Ovšem postgres má tú vlastnosť, že ak sa odstrelí čo jen 1 process SIGKILLom (napr. nejaký enormný dotaz), tak sa porúča celý cluster, ktorý nevie, v akom stave sú datové buffers. Ergo OOM killer na postgres je veľký špatný…

ďalej

Filosoficky uvod.  Dnes je kontajnerizacia velke hype a Docker je velkym standardom, ale: primarne bol vyvinuty a urceny vyvojarom, pre rychlu a standardizovanu cestu nasadenia “VM”. Pre produkciu to nebolo moc urcene, pokial clovek nepouziva nejaky framework typu K8s – napr. samotna dokerizacia neriesi HA a podobne. Tudiz skutocnou vyhodou Dockeru je len rychle standardizovane nasadenie nejakeho prostredia…

Druhou velkou filosofickou vecou je, ze Docker images/kontajners su urcene ako static – dockerfile predpisuje ich stav a zmenovost (napr. datafily a pod.) nie su priamo v kontajneri ziaduce. Preto je dolezite pre data, ktore maju byt pritomne aj po likvidacii kontajneru, separatnu vlastnu volumu.

ďalej

Spracovanie SQL dotazov je jednou z najkomplikovanejších vecí vôbec. U postgresu neni možné používať hinty a optimalizátor dotazov je cost-based. ďalej

Vývoj na Djangu je dnes už evergreenom a tak si urobím pár poznámok (pre niekoho možno triviálnych, ale ja sa k tomu dostávam sporadicky a preto potrebujem pár základných poznámok k architektúre a tak). ďalej

TimescaleDB je standardna ekstnsna postgresu, tak ako ine extensny. Je zamerana na zbieranie time-series dat a to velkych dat (typicky zo senzorov). Zvonku je pri pohlade na Postgres transparentna, je to skor sposob, akym enginom Postgres bude ukladat rady casovych dat. Preco ju pouzivat je pekne vysvetlene tu. ďalej

Narozdiel od obecneho zvyku rozdelovat pristupy medzi userov a grupy (roly) a la Oracle, postgres to ma jednoduche: v zasade existuje len rola (ROLE), ktora moze byt zapuzdrovana do inych roli. Prikaz CREATE USER a CREATE GROUP su len aliasom ku komandu CREATE ROLE. Malym rozdielom je, ze v pripade CREATE USER je uzivatel vytvoreny automaticky s privilegiom LOGIN, zatailco u CREATE ROLE nie. Konzekventne prikaz SELECT * FROM PG_USER; ukaze len userov, ktori sa mozu lognut, zatialco SELECT * FROM PG_ROLES; ukaze absolutne vsetkych userov. ďalej

Fping OK, telnet OK, ale ako to robit, ked je ICMP zakazany a telnet je pre zoznam hostov nepouzitelny (hned na prveho sa pripoji a co potom) a potrebujem overit dostupnost na specifickom porte. Nastastie tu je /dev/tcp/ ďalej

Pgbouncer je koneksn pooler, pretoze postgres nativne nema tuto vlastnost a mnoho koneksii do DB moze viest k vycerpaniu pamati, ale dosiahnutiu max_connections v Postgres konfe a odmietnutiu sluzby. Skvele zdovodnenie pouzitia pgbounceru so zaujimavou diskusiou je tu. Vseobecne sa da povedat, ze mnozstvo klientov snaziacich sa pripojit, sa stava nepodstatnym, pretoze pgbouncer ich supne do poolu u seba a postupne pusta k databaze. Mnozstvo konnesn do DB je naopak nutne obozretne konfigurovat.

ďalej