Av Nils Krumrey, Enterprise Presales Engineer, LogPoint

Når kundene snakker med oss, er det viktigste kravet på listen ofte «logghåndtering». Det høres ganske enkelt ut. Men hvis du vil gjøre mer enn å krysse av i en boks, er det verdt å dykke ned i hva logghåndtering faktisk betyr.

Hva betyr logging?

Alle typer temporale hendelsesdata er en logg. Tradisjonelt tenker vi på logger som lange, kompliserte tekstfiler, men dagens logger kan komme fra nesten hvor som helst og i hvilken form som helst. En virusskanner som holder oversikt over klientoppdateringshendelser i databasen? Det er en logg. Nettverksdata fra en virtuell privat nettsky i°AWS? Det er en logg. Og det finnes selvfølgelig alle de vanlige, som Windows hendelseslogger, webserverlogger, filtilgangslogger osv.

Hva er logghåndtering?

Hvis vi har logger, hvorfor må vi administrere dem? Begrepet «logghåndtering» ble født i en tid da logger hovedsakelig var tekstfiler, og administratorer kjempet med diskplass og log99 som rullet over til log00. Den gang måtte loggene «håndteres bort» slik at kildesystemet kunne puste igjen.

Mens tekstfilene fikk vike for Syslog, API-er og databaser, er det enkle log00-eksempelet fortsatt startpunktet for logghåndtering. Kanskje ikke så mye når det gjelder diskplass, men for å sikre at vi registrerer loggene før de forsvinner. Det er overraskende hvor mange systemer som fortsatt overskriver loggene sine, og hvor raskt de gjør det. Ofte finnes logger bare i 24 timer eller mindre, før de overskrives og forsvinner. Hvis vi ønsker å gjøre rede for disse loggdataene senere, må vi sørge for at de samles inn og ikke går tapt.

De ulike trinnene i logghåndteringen

Vi har funnet ut hva en loggmelding er og hvorfor de må fanges opp, men hvordan gjør vi det i praksis?

Logginnsamling

Først må loggene samles inn. De må enten hentes (løsningen henter dem), eller noen må levere dem til oss (løsningen samler dem inn). Logginnsamling kan oppnås for ekte loggfiler ved å logge inn på et system og hente den ved hjelp av SCP eller SFTP. Alternativt kan kildesystemet konfigureres til å levere logger jevnlig via løsningens innebygde FTP-server. Bortsett fra filer kan det være Syslog-data (utbredt for nettverksenheter) eller SNMP-feller. I Windows-verdenen kan det være en agent, en Windows Event Forwarding Collector eller WMI. Det kan være ODBC for databaser. API-en Office 365 Management API, Defender Alert API eller EventHubs. En S3-bøtte.

Innsamlingsmetodene er virkelig uendelige. Men det er viktig at logghåndteringsløsningen støtter plattformene og teknikkene du bruker for å generere loggdata. Ellers vil det oppstå blindsoner.

Sentralisert loggaggregering

Én grunn til å samle inn logger er å sikre at de leveres til et trygt sted, et sted hvor du raskt kan hente dem. Det er liten hensikt å ha loggfilene på mange forskjellige steder. Sentralisert loggaggregering er derfor en rask måte å få verdi ut av loggene på. Du må vite hvor de er og hvordan du får tilgang til dem når du trenger det.

Den valgte løsningen må distribueres effektivt og uten ekstra kostnad i distribuerte miljøer. Et eksternt nettsted kan for eksempel produsere et overraskende antall loggmeldinger som vil mette WAN-koblingen. På samme måte kan loggoverføringer inn og ut for visse skyplattformer føre til ytterligere kostnader. I disse scenariene kan det være avgjørende å oppbevare logger lokalt eller i skyen, men fortsatt kunne søke gjennom dem eksternt. Igjen bør løsningen være fleksibel nok til å tilpasse seg dine behov og ditt miljø.

Langsiktig logglagring, loggoppbevaring og loggrotasjon

En beslutning alle kunder må ta er hvor lenge de skal lagre loggmeldingene. Det er mange ting å ta hensyn til her:

  • Samsvar: Er det noen lovmessige årsaker til at loggmeldinger må lagres eller kasseres? PCI, GDPR og bedriftspolicyer kommer inn her, både for data som må beholdes og data som må kasseres. Det er en fordel å fastsette detaljerte oppbevaringspolicyer. Kanskje bør spesifikke loggmeldinger som inneholder visse personidentifiserbare opplysninger lagres i kortere tid, eller noen av feltene i dem bør krypteres.

 

  • Operasjonelle behov: Er det visse brukstilfeller hvor det å ha en loggmelding vil være en fordel? For eksempel, hvor lenge etter at aktiviteten fant sted kan det være et realistisk (eller juridisk) krav om opphavsrett mot en student som laster ned filmer ulovlig på universitetsnettverket?

 

  • Loggvolumer og kostnader: Loggmeldinger tar opp diskplass, og diskplass koster penger. Noen leverandører tar også betalt for hvor mye data som er lagret med verktøyet. Dette fører til en spesifikk kostnad for hver dag loggmeldingene lagres og beholdes. Til syvende og sist er det slik at kostnaden ved å oppbevare logger over lengre tid veier opp for de fordelene de kan levere. Da bør de sannsynligvis kastes.

Valg av riktig lagringsløsning for logghåndtering

Når det gjelder lagring av selve loggene, finnes det ulike måter å håndtere dem på. Noen skytjenester og administrerte tjenester inkluderer alle lagringskostnader i en abonnementspris. Likevel er ytterligere retensjon ofte dyrt. Og det er liten kontroll over hva som blir lagret hvor og hvor lenge, med data som forlater kundens eierskap.

Med andre løsninger eies dataene av kundene som installerer egne lagringsnivåer. Avhengig av arkitekturen kan løsningen være å automatisk flytte eldre data til et tregere lagringsnivå (for eksempel NAS med tregere disk enn DAS/SAN og SSD). Noen leverandører sender loggdata til et frakoblet eller «arkivert» nivå. Dette krever som regel en langsom gjenopprettingsprosess når loggdataene skal hentes frem igjen.

Som vanlig gir en fleksibel løsning størst kontroll over loggoppbevaringen og kostnadene. Ved å opprettholde eierskap til dataene, lagre forskjellige loggmeldinger på flere måter, beskytte sensitive data mens du fortsatt kan søke gjennom dem, samt det å la løsningen administrere lagringsnivåer automatisk, bør fjerne de fleste utfordringene ved en ufleksibel logghåndteringsløsning.

Logganalyse, loggsøk og rapportering – hvorfor bør du ha logghåndtering?

Så, hvor står vi da? Vi har samlet inn logger og vi har sørget for at de lagres sentralt og i riktig tid. Men etter alt dette arbeidet, er det helt klart fornuftig å bruke dem til noe!

Det er her som en enkel logghåndtering blir til en°SIEM-løsning, eller sikkerhetsinformasjon og hendelsesadministrasjon. Sikkerhet er et viktig fokusområde, og med SIEM kan alle hendelser fra en loggfil dokumenteres, varsles om og visualiseres via dashboard og rapporter.

Så det å samle inn og lagre logger er et viktig første skritt. Noen ganger er det å samle inn og lagre logger alt som trengs for å håndtere enkelte samsvarskrav. Men den virkelige verdien får du først når du begynner å bruke loggene. For eksempel°logganalyse.

Med en SIEM kan du utnytte all den kraften som ligger i loggene. Alle loggmeldinger er sentralt tilgjengelige nesten umiddelbart. Det betyr at du alltid vet hvor du skal feilsøke. Uansett om det er nettverkstilkoblingsproblemer, varsler fra virusskannere, brukere som låser seg selv ute eller alle andre ting som ellers ville ha krevd manuelt søk gjennom vanskelig leste loggfiler fra en rekke systemer – hvis de overhodet er tilgjengelige.

For enda mer avansert funksjonalitet som går utover loggadministrasjonsverktøyene, sørg for å lese noen av de andre bloggene på LogPoint-nettstedet!

 

Contact LogPoint

Get in touch and learn why leading companies choose LogPoint:

GET IN TOUCH