@laacz tvītu arhīvs

#TIL Pēdējo dažu vakaru projekts man bija bekapu sakārtošana savējiem serverīšiem, hobija lietām un vēl šim tam. Rezultātā man ir sekojošs setaps.

Nolēmu, ka jābeidz čakarēties. Pirms nedēļas parādījās nepieciešamība atgūt pirms trim nedēļām dzēstu failu un pissī propalō.

Līdz šim man viss tupa bekapojās reizi diennaktī ar rsync uz mājām. Rezerves kopija gadījumiem, ja kaut kas nosprāgst neatgriezeniski.

Rīks, kuru izmantoju saviem push tipa bekapiem, ir restic. Tas ir vienkāršs, ļoti funkcionāls, lieliski prot veidot inkrementālos bekapus. Tam ir atbalsts milzumam dažādu vietiņu un veidiņu kā tos bekapus glabāt.

Tad atcerējos, ka Hetzner ir tāda lieta kā "storage box". 1TB maksā 3.81€. Tā ir vienkārši dedicated diska vieta tīklā. Atvēru ssh (sftp) un viss.

Pirmā doma bija Backblaze B2. Nācās dzēst kontu un veidot par jaunu, jo citādi nevarēja tikt prom no ASV reģiona. Parēķināju, ka 1TB mēnesī izmaksātu $5.12. Bet datu pārraides ātrums un veiktspēja man nepatika.

Pie konfigurācijas opcijām vēl jāpierod. Pagaidām iztikšu ar 30d vēsturi, kas nozīmē, ka jebkuram failam, kurš ir eksistējis kādā brīdī pēdējo 30 dienu laikā, ir jābūt pieejamam.

Tālāk jau nomainīju restic rezerves kopiju pārvaldības rīka (iesaku - ir feins) mērķi bekapiem un lieta cepurē. Tā kā šie storage box ir pasūtāmi tanī pašā DC, kurā atrodas mani serverīši, tad veiktspējas ieguvums ir vienkārši episks.

Neesmu vēl pavisam drošs - cik labi uzvedīsies restic forget, prune un check komandas tad, kad izmaiņu apjoms būs par nedēļu, divām vai visām četrām.

Tam gan ir rezerves plāns - reizi nedēļā taisīt pilno bekapu un miers. Katru dienu negribās. Inkrementālo bekapu bonuss ikurāt ir mazs aizņemtās vietas apjoms.

Kaut kā tā. Kā tu bekapo savus hobija projektiņus/serverīšus? Es zinu, ka ir miljons dažādu rezerves kopiju veidošanas klientu un to pārvaldnieku. Man iepatikās tieši restic.

@laacz Klau, a tu savām hobija lietām restore arī testē? Jo nu kā mēs visi labi zinām, ja netestē restore, tad tev nav backups, bet gan ilūzija par to

@ramuuns Man ir annual kalendāra ieraksts un pa šiem gadiem arī gatavs skripts, kurš caur hetzner api paceļ VM, inicializē, norestorē, atsūta notifikāciju. Es pabakstos, paskatos un izdzēšu VM. Paceļ gan tikai failu līmenī - testēju ar rsync dry-run un vnk novalidēju diffu.

@ramuuns Bet nu tagad būs jāpārraksta skripts, jo tārgets ir storage box. Pagājušo gadu izlaidu, jo uplings no mājām čerez mobilo netu nav pats labākais tādām izvirtībām :D

@laacz Reizi gadā izvelku SD karti un noklonēju OMV setapu. HDD backupojas ik nakti uz āra cietni ar rsync. 2 reizes esmu atjaunojies un diezgan veiksmīgi. :D

@laacz Pamatdators uz Backblaze (bezlimits), pats fonā visu dara, glabā arī 30 dienu vēsturi. ~0,5x mēnesī backup uz lokālo serveri un off-line HDD. Serverlietas - VEAAM 1x dienā no SSD uz spoguli tajā pašā serverī. Reizēm uz pamatdatoru. Respektīvi lielāko daļu var lokāli atjaunot.

@laacz @ramuuns Nu nez ar 5g pat 100mbps var dabūt.. Ir OK.

@KristapsStudy @ramuuns Nejau upload :)

@laacz Backblaze visām dzīves bildēm, dokumentiem. Citai drazai, kas mētājas garāžas "NASā" ir SnapRAID, nu tīri ja noklājas kāds no vecajiem rotējošajiem HDD.

@laacz Restic lietoju kopš 2015. gada. Ir nācies dažas reizes restorēt - vienmēr izdevies bez problēmām. Taisu gan lokālus, gan off-site backupus, ja nu gadījumā viss slikti.

@hokamons Man dzīves lietām (foto, doķi) ir google photos un onedrive ar lokālo bekapu.

@laacz Failus no Windows mašīnas sinhronizēju izmantojot Syncthing. Un tālāk jau uz servera to normāli backupo restic. Ar domu, ka gadījumā, ja tikšu pie kāda ransomware, vai cita sūda, tas netiks pie visiem backupiem. Un Syncthing ir jauks GUI.

@laacz Pateicoties deduplikācijai un tagad arī kompresijai, uz diska galvenais restic repo aizņem ap 600GB, bet total size ir 6TB.

@laacz Un man pietiek ar `restic forget --keep-monthly 12 --keep-weekly 4 --keep-daily 3`

@laacz @ramuuns Tieši Upload, uz Leju nāca ~~500mbps 5G uz augšu 100, bet torni ar acs kaktiņu varēj redzēt un rūteris bija aiz loga plastmasas kārbiņā.

@KristapsStudy @ramuuns Nu, man rajončikā tādi ātrumi vēl nav.

@Janamaja Es arī šodien pielaboju: forget --keep-daily 7 --keep-weekly 4 --keep-monthly 12 --prune PS Vai tad daily 3 neizslēdz weekly 4? Vai arī es neesmu pareizi iztulkojis visus šitos keep?

@laacz @ramuuns Siguldā @mansLMT kartīgi pastrādājuši ir ļoti labs 5G, paldies! Cerams ka driz būs ATL 5G versija https://www.getic.lv/product/mikrotik-atl-lte18-kit tad tas būs labs uzlabojums

@laacz Sen neesmu tūnējis tos parametrus. Te mans snapshot log vienai no mapēm. Varbūt izskatās nedaudz savādi, bet works for me. 😁

@Janamaja OK, tad tiktiešām būšu nedaudz pārpratis tos parametrus.

@laacz Skatos, ka jaunākās versijās parādījušies arī "keep-tag" un "keep-within". Būs kaut kad vēlreiz jāiziet cauri manuālim, gan jau vēl kaut ko esmu palaidis garām.

@laacz Restic bija pirmais open source projekts kam ziedoju simbolisku summu. Otrais bija Wireguard.

@laacz Vairumam nav dinamisku datu un viss ir versijkontrolē, un uz servera tiek tikai uzlikta sistēma ar git clone vai docker pull - attiecīgi serverim nav nekāda backup, taču uzlikt jaunu tādu pašu ir triviāli. Kur ir dati, tur cronjob kas uztaisa db dump un uzliek uz S3.

@PPaikens 20 gadus atpakaļ kāda versiju kontrole?:) 10 gadus atpakaļ kādi konteineri? :) Pie kam, ne visi dati glabājas datubāzē (faili, dokumenti).

@laacz PC => QNAP => AWS. Pārsvarā tikai bildes, kaut kādi dokumenti. Reiz sanāca noķert QLocler v1 dēļ atvērta upnp uz mājas rūtera. Atgūt datus no AWS bija pinķerīgi un dārgi, bet lētāk nekā maksāt noziedziniekiem.

@laacz Nu, es to sadzirdēju kā jautājumu par aktīviem hobijprojektiem, nu un viss, kas dzīvo, tiešām ir versijkontrolē. Citi dati dropbox, arī versionējas. 20 gadus atpakaļ git nebija, bet versijkontrole gan, es laikam 23 gadus atpakaļ CVS sāku lietot, vēl bija tāds zvērs kā Perforce.

@PPaikens Jā, Sorry, es aizmirsu, ka tavs tvits ir atbilde uz manu aicinājumu pastāstīt par savu stratēģiju. Es pats, šķiet, tā nopietni pārgāju uz versiju kontroli tikai ar git.

@KristapsNot BackBlaze egress ir daudz letāks. Un, šķiet, viņu risinājums ir arī ar s3 api pieejams.

@laacz Bet tieši vecajiem neaktīvajiem projektiem, katram uztaisīt privātu github/gitlab/bitbucket repozitoriju un tekošo stāvokli iepushot mākonī - tas man bija kaut kad sen viens vakars, nu un tad ir pārliecība ka ja arī kaut kad nomirst datori/diski, tad vecās lietas vienalga paliek.

@PPaikens Katru reizi, kad iedomājos par veco projektu inventarizāciju, atrotu piedurknes, apskatos un aizrotu atpakaļ :D

@KristapsStudy Pastāsti sīkāk par to rūteri plastmasas kārbā? ;) tas LMT MT parastais, ko dod klientiem? Man te pēdējās nedēļas interesanti svārstās ātrumi - ir dienas, kad down avg 300-350, ir dienas, kad 200-250. Tornis redzams. Rūterim priekšā siena.

@janisz Tieši tā parastais lmt mikrotik 5g, un depo elektrības hermētiska kārba plastamas ip67.. Ārā pie aiz palodzes izlikts. Bet pēdējās nedēļas lmt cītīgi liek core atjauninājums un ir bijuši brīži kad ir lēnāks vai problēmas.

@laacz rsyncc

@laacz Šis kā reiz ir diskutabli. https://www.reuters.com/article/us-france-ovh-fire-idUSKBN2B20NU reizi mēnesī tad der kaut kur citur taisīt. Lai ugunsgrēka gadījumā nav ar galiem. Viņu DC bekapi bija dažādos stāvos, bet tas nepalīdzēja.

@PeterisJur Man ir rezerves kopija arī mājās.

@PeterisJur Bet vispār jā - ļoti valīds arguments. Par šo biju pavisam aizmirsis.

@laacz Pagaidām Synology NAS (mirrored hdd) -> AWS S3, kā arī šur, tur parasts zips vai rsync no viena servera uz otru un no otra uz vienu. Nu pa prasto 😅

@KBlumentals AWS nesanāk sālīti?

@laacz Kodam un mazākiem datiem GitHub. Citām lietām šur tur enkriptēti automātiski backupi uz Google Drive. Bet vispār arī prasās uzlabot / sakārtot sistēmu.

@laacz Mākonī - Backblaze B2, AWS Glacier un Hetzner snapshotu kopijas.

@laacz Nekā. Viss Oracle cloudā un pie Atlassian. Man gan "visa" ir tik maz un reti, ka pietiek ar free tier.

@laacz Man ir 1TB datu, mēnesī sanāk ~18$ S3, laikam jau ka tas ir dārgi, bet a) lietoju AWS visam = ērtāk turpat, b) Synology ir iebūvēts supports, versioning utt. Vārdu sakot, esmu par slinku, lai meklētu, kur ietaupīt 10 eiro mēnesī.

@KBlumentals Un cik būtu egress uz 1T? Laikam arī nekāds tur kosmoss.

@laacz Lai visu 1TB nokačātu atpakaļ, būtu dārgi, ap $90, bet lai tas būtu vajadzīgs ir NASā jānobirst 2 hdd līdz stāvoklim, ka ne no viena, ne no otra neko nevar atgūt. (Vai jāsadeg vai jātiek nozagtam NASam) Tas būs ļoti reti.

@laacz Šie dati ir manas bildes, dziesmas, dažādas instalācijas utml. tur nav dokumenti, programmas kodi, db utml. Dokumenti, programmu kodi un pārējais ir vieglāk, jo tie ir N vietās, lokāli vairākos datoros, cloud, svn serverī, vairākos citos serveros, kas viens uz otru bekapojas.

@KBlumentals Svn?

@laacz Jā, mēs ar @aivars_irmejs esam vecmodīgi bomži, uzturam dedicated svn serveri saviem projektiem. Nav mums git. Tam serverim gan ir savs backup uz vēl citurieni. Lēti jo tur tikai daždesmit GB. Bet tur tikai kods, citi dati savādāk. Vobšem bardaks, bet visam 3-6 kopijas ir.

@KBlumentals @laacz Kaut kādiem opensourcētiem sīkumiem mums ir arī GIT, bet iekšēji ērtāk ar SVN dažādu iemeslu dēļ. Protams, tas ir mega nestilīgi.

@Janamaja Nope, does not work. At most 4 snepšoti. forget --keep-daily 4 --keep-weekly 4 --keep-monthly 12 --prune