Verminking van gegevens en verlies

Hoofdfactoren van verlies van digitale gegevens

We hebben het natuurlijk niet over het verlies van Blue-rays onderweg of bij een brand - dat soort verlies is niet anders dan bij, op papier of film, vastgelegde gegevens. We hebben het over problemen met de zogenaamde Nieuwe media.

Problemen met digitale gegevens kunnen ruwweg ondergebracht worden in de volgende aandachtsgebieden.

• De fysieke aftakeling van de dragers (alle gegevensdragers vervallen binnen verschillende tijdbestekken)

• Onopgemerkte overdrachtsfouten tijdens gegevensoverdracht.

• Het achterblijven van ondersteuning voor langdurige, door bedrijven geleverde digitale formaten.

• Ouderwetse apparatuur.

Kroll Ontrack, de grootste firma voor gegevensherstel beschikt over interessante statistieken betreffende de oorzaak van wat eigenlijk gegevens verloren doet gaan.

Oorzaak van verlies van gegevens	Perceptie	Werkelijkheid
Apparatuur- of systeemprobleem	78%	56%
Menselijke fout	11%	26%
Programmatuur beschadiging of probleem	7%	9%
Computervirussen	2%	4%
Ramp	1-2%	1-2%

Laten we dus die gevallen stap voor stap analyseren.

Verval van opslag

Onderstaand getoonde apparaten zijn gesorteerd op kenmerken voor toegangssnelheid tot gegevens, van de minder snelle naar de snelste.

Magnetische media

Magnetische tapes worden gebruikt in de back-up systemen, veel meer in de professionele omgevingen dan in thuisgebruik. Tapes hebben problemen met het bewaren van gegevens en veranderende technologie, maar ze zijn veiliger in één aspect dan optische stations: ze zijn minder gevoelig voor krassen, vuil en schrijffouten. Aan de andere kant zijn ze gevoelig voor magnetische velden. Gooi een magneet naast een tape en de informatie is weg. Tapes moeten om de 5-8 jaar opnieuw worden gekopieerd, anders zullen teveel bits falen en ontsnappen aan de checksum voor bescherming. Het nadeel van magneetbanden is vaak de prijs van de recorder en de hersteltijd (20x langer dan van de HDD). Het back-up systeem op tape heeft zijn beste dagen gehad.

Optische stations

Fysieke verval van media vindt vaker plaats bij papier en cd-roms dan gemiddeld met films. Toch blijft filmmateriaal langer bestaan (soms tientallen jaren langer) dan andere vormen van media, De juiste soort backup van digitale media verliest nooit iets. Film vergaat - digitale 1-en en O-nullen niet. En film begint te vergaan op het moment dat het wordt gemaakt. Het zal nooit dezelfde kleur, contrast etc. behouden als dat van het voorgaande moment. Met digitaal gebeurt dat niet. Maar, digitaal is vatbaar voor verval. En ja, fysieke media als floppies en magnetische harde schijven zijn ook vatbaar voor afbraak van het medium. Ze blijven alleen een beetje langer bestaan.

Om het probleem met optische stations tegen te gaan moeten deze op de juiste manier worden behandeld en men mag niet verwachten dat ze langer dan een paar jaar meegaan. Gelukkig kunt u cd’s en dvd’s kopen die langer blijven bestaan hoewel deze moeilijker te krijgen zijn en veel duurder zijn. Er bestaan met goud bedekte optische stations tegen twee dollar per stuk en men beweert dat ze honderd jaar meegaan (als u het wil geloven).

Optische schijven kunnen onleesbaar worden, maar je kunt het risico verminderen met behulp van goede schijven en een goede recorder, en opslaan op een correcte manier. De beste optische station-recorders zijn niet veel duurder dan de goedkoopste, maar ze schrijven op een veel betrouwbaarder manier. Het is een kwestie van het kiezen van de juiste.

In wezen, zijn optische stations zeer gevoelig voor fouten, zelfs in een pas geschreven staat. Dat is waarom ze zwaar zijn beveiligd met een checksum-mechanisme (75% van de gegevens zijn effectieve data, de rest is formatteren en checksum overhead). Maar zelfs met die enorme hoeveelheid bescherming zullen zij achteruit gaan door chemische veroudering, ultraviolet licht, krassen, stof, etc.

Voor beschadigde optische stations, geeft Wikipedia een lijst met algemene toepassingen, ontworpen om gegevens van beschadigde floppies, vaste schijven, flash-media, zoals camerageheugen en USB-apparaten, etc. te halen.

Optische media blu-ray-schijven met twee lagen kunnen 50 GB opslaan, bijna zes keer de capaciteit van een dual-layer dvd van 8,5 GB. Alles wat is gezegd over cd’s/dvd’s geldt ook voor blu-ray-schijven.

De beste praktijk: brand ze langzaam met een goede recorder op media met archiefkwaliteit in een open, niet-eigen formaat, lees de gegevens terug om die te controleren, label ze met beschrijvende tekst + datum & auteur, berg ze op waar het schoon, donker, dierveilig en droog is. En vergeet niet om ze opnieuw te kopiëren naar de volgende generatie media voordat u het laatste stukje hardware of software weg gooit dat het materiaal nog kan lezen.

Harde schijven

Fabrikanten van harde schijven houden hun statistieken voor zichzelf. Met garantie van een fabrikant koopt u een nieuwe schijf, maar geen verloren gegane gegevens. Google heeft, als een van de weinigen, grootschalig onderzoek op HDD faalmechanismen gedaan: Disk Failures study.

In een notendop: schijven draaien het langst bij temperaturen tussen 35 °C en 45 °C, bij lagere temperaturen neemt het aantal fouten drastisch toe. Controlleronderdelen (elektronica) zijn de belangrijkste bronnen van falen. Hiervan heeft SMART geen diagnose gemaakt. Sommige SMART fouten zijn een indicatie van dreigend falen, in het bijzonder aantallen scanfouten en herplaatsingen. Verwachte levensduur is 4-5 jaar.

In het algemeen en in strijd met intuïtie of ecologische overwegingen, resulteert het permanent runnen van een harde schijf in een langere levensduur dan wanneer u hem de hele tijd aan en uit zet. Het is zelfs gemeld dat agressief energiebeheer met stoppen en starten het station het snelst kan schaden. Het hard laten werken verkort de levensduur een beetje. Het meest schadelijke voor HDD zijn waarschijnlijk trillingen, schokken en lage temperaturen.

Als uw schijf rare geluiden maakt zal normale software voor herstel van bestanden niet gaan werken. Maak eerst een snelle back-up als dat gebeurt. (Gebruik het commando dd indien mogelijk, niet een normaal programma voor het maken van reservekopieën want dd leest in een gladde, spiraalvormige stroom van begin tot eind en belast niet het mechanische gedeelte). Er zijn gespecialiseerde bedrijven die gegevens kunnen herstellen van een beschadigde schijf, maar ze zijn erg kostbaar.

De suite van Linux SmartMonTools biedt het afvragen van de hardware apparaten voor opslag op toekomstig falen. We bevelen het gebruik van dit soort hulpmiddel op uw computer ten zeerste aan.

Solid State Drives

SSD’s zijn mechanisch robuuster dan HDD’s en lijden veel minder op dat gebied wanneer ze zijn aangesloten op de computer. Ze zullen HDD op den duur vervangen vanwege capaciteit, robuustheid en prijsen worden meer en meer een goede oplossing als permanente apparaten voor gegevensopslag.

In geval van gebruik als extern apparaat, is een belangrijke oorzaak voor het verlies van gegevens (vaak herstelbaar) het onveilig verwijderen van SSD’s uit een computer. Voordat gegevens worden opgeslagen vanuit het computergeheugen op een aangesloten apparaat, blijven deze gegevens enige tijd in buffers. Bij harde schijven betekent dit hooguit seconden, terwijl dit met SSD tientallen minuten kan bedragen. Daarom, voordat u een flash-apparaat loskoppelt, activeer altijd gegevens opslaan door middel van software (vaak genoemd apparaat veilig verwijderen).

Niet-vluchtig geheugen

NVM Express (NVMe) voor niet-vluchtig geheugen is een interface voor een logisch apparaat voor toegang tot een niet-vluchtige opslagmedium gekoppeld aan de PCI Express (PCIe) bus. Het gebruikt hetzelfde erg snelle NAND-flash-geheugen gebruikt in SSD’s, maar gebruikt het interface van M.2 kaarten in plaats van het langzamere mSATA gebruikt met oudere HDD’s.

NVMe biedt hardware en software van hosts om volledig de niveaus van parallellisme mogelijk in moderne SSD’ te benutten. NVMe reduceren I/O overhead en brengt verschillende verbeteringen in presentatie relatief tot eerdere SSD’s. Protocollen voor het mSATA interface zijn ontwikkeld voor gebruik met veel langzamere HDD’s waar een erg lange vertraging bestaat tussen een verzoek en gegevensoverdracht, waar snelheden van gegevens veel langzamer zijn dan RAM-snelheden.

Vanuit het gezichtspunt van levensvatbaarheid, omdat NVMe apparaten dezelfde hardware als SSD’s gebruiken om gegevens op te slaan, moet de robuustheid hetzelfde zijn.

Belangrijk

In alle gevallen zijn SSD’s of NMVe’s als interne apparaten de modernere en efficiëntere oplossing om de database en de verzamelingen te bevatten.

Falen van stroomvoorziening

Spanningspieken

Tot wel 1% van alle computers krijgen ieder jaar te maken met bliksem en spanningspieken.

Dit is ongeveer het totale verlies van gegevens als gevolg van spanningspieken. Natuurlijk kunt u af en toe verlies van gegevens krijgen als gevolg van stroomuitval vóór het opslaan van bestanden. Maar die verliezen kunnen normaal zonder veel moeilijkheden worden hersteld.

U hoeft niet te wachten op de volgende onweersbui om bezorgd te zijn over hoe een plotselinge schommeling in elektrische energie uw computersysteem kan beïnvloeden. Uit recente statistieken blijkt dat maar liefst 63 procent van alle elektronica-ongelukken te wijten zijn aan problemen met de voeding en de meeste computers zijn onderworpen aan twee of meer spanningsafwijkingen per dag. Omdat spanningspieken of black-outs overal en op elk moment kunnen optreden, is het zinvol om uw computer te beschermen, door te investeren in een soort van overspanningsbeveiliging.

Hoe spanningspieken ontstaan

Een spanningspiek treedt op wanneer de netspanning langer dan 10 milliseconde hoger word dan de nominale waarde. Zestig procent van alle spanningspieken worden thuis of op kantoor veroorzaakt, in het algemeen wanneer een apparaat met een motor (zoals een haardroger, koelkast, of waterpomp) wordt uitgeschakeld en de stroom die werd gebruikt, elders als overspanning beschikbaar komt. De resterende 40 procent van de spanningspieken wordt veroorzaakt door factoren zoals bliksem, schakelingen in het net door nutsbedrijven, zwaaiende elektrische leidingen (niet in Nederland), slechte bedrading, en ga zo maar door.

Terwijl het meeste gemiddelde elektrische apparaten niet worden beïnvloed door overspanning, zijn apparaten met computer chips en high-speed microprocessoren vatbaar voor ernstige schade. Voor uw computer, kan de spanningsafwijking leiden tot vastlopen van het toetsenbord, volledig verlies van gegevens, hardware beschadiging, een beschadigd moederbord en meer. Het u uzelf niet beschermt tegen het onvermijdelijke kan dat resulteren in verlies van tijd en geld.

Spanningspiekbeveiligers

De meest voor komende beveiliging tegen spanningspieken is een overspanningsbeveiliging of onderdrukker, een apparaat dat werkt door het absorberen van een deel van de overtollige energie en het omleiden van de rest naar de aarde. Deze zijn meestal verkrijgbaar in de vorm van een stekkerdoos (een van die lange apparaten die zo’n zes verdeelpunten en een enkele, geaarde stekker hebben). Houd in gedachten, dat niet elke stekkerdoos dient als een overspanningsbeveiliging.

Bij het selecteren van uw overspanningsbeveiliging, wilt u er zeker van zijn dat deze voldoet aan de UL 1449 norm, die een bepaalde minimum beveiliging garandeert. U zou ook moeten zoeken naar een apparaat dat bescherming biedt tegen bliksem (niet iedereen let daar op) en dat zekerheid biedt aan apparatuur die goed is aangesloten.

Omdat een spanningspiek altijd een weg naar uw computer kan vinden moet u er voor zorgen dat elk randapparaat aangesloten op uw systeem beveiligd is. Dit geldt ook voor uw telefoonlijn of kabel modem, omdat spanningspieken ook via die weg kunnen gaan. Een aantal fabrikanten produceren nu piekspanningonderdrukkers met een telefoonaansluiting voor uw modem samen met de stopcontacten, terwijl anderen aansluitingen voor coaxkabel hebben voor diegenen die een kabelmodem of tv-tunerkaart gebruiken.

Als u een notebook-computer hebt, wilt u ook daarvoor een overspanningsbeveiliging bij u hebben. Een verscheidenheid van onderdrukkers speciaal ontworpen voor notebooks is beschikbaar, klein van formaat en ze bezitten zowel elektrische als telefoon stopcontacten wat ze ideaal maakt voor onderweg.

Niet-te-verbreken stroomvoorziening

Terwijl een overspanningsbeveiliging uw systeem beschermt tegen kleine fluctuaties in de elektrische leidingen, zal het u niet helpen als de stroom helemaal uit zou vallen. Zelfs een uitval van enkele seconden kan resulteren in verlies van waardevolle gegevens, dus vindt u het misschien de moeite waard om te investeren in een Niet-te-verbreken stroomvoorziening (UPS).

Behalve als piekbeveiliging schakelen deze apparaten automatisch naar batterijvoeding wanneer de stroom uitvalt, waardoor u de kans krijgt om gegevens op te slaan en uw systeem af te sluiten. Sommige modellen kunt u zelfs door laten werken tot de stroomvoorziening is hersteld. Bij aankoop van een UPS, zorg dan dat deze dezelfde kwaliteit heeft als die u zou kiezen bij een overspanningsbeveiliging, maar controleer ook de levensduur van de batterij en de meegeleverde software.

Gezien het potentiële risico voor uw computersysteem, is het waarborgen van de veiligheid tegen verstoringen in de stroomvoorziening een waardevolle investering. Een goede kwaliteit piekspanningsbeveiliger is niet al te duur. Het is een kleine prijs om te betalen voor uw gemoedsrust die u zult krijgen wetende dat uw computer goed beschermd is. Trek in ieder geval alle netstekkers uit uw apparatuur wanneer u op vakantie gaat.

Beleid voor bescherming

Web opslagdiensten

Amazon Web Services omvat S3 - Simple Storage Service. Met de juiste configuratie kunt u S3 als een drive op Linux, Mac en Windows systemen installeren zodat u het kunt gebruiken als back-up bestemming voor uw favoriete software. Google Shared Storage is een andere populaire aanbieding waarbij men een oneindige hoeveelheid gegevens op kan slaan.

Het is duur in vergelijking met harde schijven thuis. En je moet de afbeeldingen overbrengen via het, relatief trage, internet.

We denken dat het als bescherming tegen lokaal verlies van gegevens van de meest essentiële beelden geen slecht idee is, maar het is niet een algemene oplossing als reservekopie, daarvoor is het veel te traag.

Google Photo en Flickr bieden gespecialiseerde online opslagdiensten voor fotografie. De vrije ruimte is beperkt en u wilt geen volledige resolutie beelden online. Maar de pro-accounts bieden meer.

Voor wat betreft het bewaren van gegevens is de webruimte oplossing waarschijnlijk redelijk veilig. Transmissiefouten worden gecorrigeerd (met dank aan het TCP-protocol) en de grote bedrijven bieden meestal reservekopieën plus gedistribueerde opslag, zodat ze zelfs beveiligd zijn tegen rampen.

digiKam levert een hulpmiddel om items naar iNaturalist webservice te exporteren

Transmissiefouten

Gegevens raken niet alleen verloren op opslagapparaten, ze raken ook verloren bij verplaatsing binnen de computer of via netwerken. (hoewel netwerk verkeer zelf via TCP tegen fouten is beschermd). Fouten treden op in interfaces en in geheugendragers. Consumentenhardware biedt geen bescherming tegen deze bitfouten, zodat het de moeite waard is om daarnaar te kijken. U kunt ECC (error code correctie) beveiligd geheugen kopen (dat is duur). Met ECC RAM wordt het geheugen op zijn minst geschoond hersteld van enkele bitfouten). Dubbele bitfouten zouden aan die regeling ontsnappen, maar ze komen te weinig voor.

De werkmethode voor gegevens tussen toepassing en opslagmedia

Dit diagram toont de ketenelementen voor transmissie in een computer, alle overgangen zijn gevoelig voor transmissiefouten. Het Linux ZFS en BTRFS <https://en.wikipedia.org/wiki/Btrfs>`_ bestandssysteem zorgt tenminste voor integriteit in het pad van het besturingssysteem naar de vaste schijf.

De Byte Error Rate (BER) voor het geheugen en de transmissie kanalen is in de orde van 1 op 10 miljoen (10E-7 bit). Dat betekent gewoon dat 1 op 3000 beelden een fout heeft die alleen te wijten is aan de transmissieproblemen. Welnu, hoe dramatisch dat is voor een opname wordt aan het toeval overgelaten, het kan betekenen dat het beeld wordt vernietigd of dat een pixel ergens veranderd is in waarde. Door de compressie die op bijna alle foto’s wordt toegepast kan men de ernst van een enkele bitfout niet voorspellen. Vaak ziet men een aantal deelbeelden in plaats van de volledige afbeelding.

Het ergste van dit alles is dat niemand je vertelt wanneer een transmissiefout optreedt, ook uw hardware niet. Al die storingen gaan onopgemerkt door tot op een dag dat u de foto opent en tot uw verbazing ziet dat die beschadigd is. Het is heel zorgelijk dat er geen bescherming binnen een computer hoeft te zijn, schijnt iemand te hebben gedacht. Het Internet (TCP-protocol) is veel veiliger dan gegevens paden in een computer.

On-gestabiliseerde voedingen zijn een andere bron van verliezen in de overdracht, omdat ze storing veroorzaken in gegevensstromen. Met gewone bestandssystemen blijven die fouten onopgemerkt.

Het aantal keer falen van opslagmedia per jaar

Zelfs als u op dit moment niet al te zeer bezorgd bent over problemen met de transmissie, werp dan, ter illustratie, eens een blik in de toekomst. Al in 2010 zullen we duizenden transmissiefouten per jaar zien.

Toekomst van bestandssystemen

ZFS van Oracle lijkt een van de twee kandidaten te zijn die schijffouten op laag niveau aanpakt en het is zeer schaalbaar. Het is open-source, zwaar gepatenteerd, wordt geleverd met een met een licentie die onverenigbaar is met GPL en is beschikbaar op Linux en macOS.

Oracle heeft ook een initiatief gestart met zijn BTRFS bestandssysteem. Het hanteert dezelfde beschermingstechniek als ZFS en is beschikbaar op Linux.

Menselijke fouten

Diefstal en ongelukjes

Onderschat het niet. Die twee factoren zijn goed voor 86% van de notebook en 46% voor desktop verliezen van systeemgegevens. Voor notebooks, telt diefstal alleen al voor 50%.

Schadelijke software (malware)

Het verlies van gegevens als gevolg van virussen is minder ernstig dan algemeen wordt aangenomen. Het vertegenwoordigt minder schade dan bijvoorbeeld diefstal of her-installaties. En het is beperkt tot Microsoft OS-gebruikers. Apple-gebruikers ervaren zeer weinig virussen en onder Linux zijn ze al geruime tijd niet gemeld.

Mens en verlies van gegevens

Menselijke fouten, zoals in alles, is een groot probleem bij gegevensverlies. Haal eens diep adem en stop! Paniek is een veel voorkomende reactie, en mensen doen echt domme dingen. Ervaren gebruikers kunnen het verkeerde station los koppelen van een RAID -array of formatteren een schijf waardoor al hun gegevens vernietigd worden. Handelen zonder na te denken is gevaarlijk voor uw gegevens. Stop met opgewonden zijn over het verlies en doe niets met de schijf. Beter nog, stop met het gebruik van de computer tot u een plan hebt gemaakt. Ga eens zitten en leg je plan voor aan een leek. U zult versteld staan ​​hoeveel domme ideeën je op die manier zelf zult ontdekken in een dergelijke oefening.

Als uw schijf rare geluiden maakt, zal gewone software voor bestandsherstel niet werken. Maak een snelle back-up als dat gebeurt. Indien de schijf nog draait en u kunt uw gegevens niet vinden, zoek dan naar een toepassing voor dataherstel en maak een reservekopie naar een andere computer of schijf. Een universele en krachtige oplossing kan het gebruik van de open-source suite CloneZilla zijn. Het belangrijkste is om ze te downloaden op een ander station, hetzij op een andere computer of op een USB-stick of vaste schijf. Het is een goede gewoonte om de herstelde data op een andere schijf op te slaan. Het programma dd is uw vriend op Linux-systemen.

Gangbare mythen uit de weg geruimd

Ik wil een paar algemene sprookjes uit de weg ruimen:

• Open-source bestandssystemen zijn minder gevoelig voor verlies van gegevens dan proprietary systemen: Fout, NTFS is eerder een klein beetje beter dan ext4, ReiserFS, JFS, XFS, om maar de meest populaire bestandssystemen die vaak standaard worden geleverd als standaard opslagformaat voor schijven gebruikt door distributies.

• Bestandssystemen met journaals voorkomen gegevens-schade/verlies: Fout, alleen versnellen zij het scanproces in geval van een plotselinge onderbreking tijdens de werking en voorkomen dubbele versies. Maar als een bestand niet volledig is opgeslagen voordat het ongeluk toeslaat zal het verloren gaan.

• RAID -systemen voorkomen gegevens beschadiging/verlies: Meestal fout, RAID 0 en 1 voorkomen niets, RAID 5 kan voorkomen dat gegevens verloren gaan als gevolg van het falen van een schijf (maar niet van fouten op de schijf of in het bestandssysteem). Veel low-end RAID-controllers (meestal controllers op het moederbord) rapporteren geen problemen zodat u het nooit zult merken. Als u het maanden later merkt, hoe groot is de kans dat u weet of de de controller schuldig was? Een sluipend probleem zijn fouten in de pariteitsgegevens van RAID 5. Het is vrij eenvoudig om een ​​bestand te controleren door het te lezen en het te vergelijken met de metagegevens. Het controleren van pariteitsgegevens is veel moeilijker, dus zult u meestal pariteitsfouten niet zien tot bij een herinstallatie. Dan is het natuurlijk te laat.

• Virussen vormen de grootste bedreiging voor digitale gegevens: Fout, diefstal, en menselijke fouten zijn de primaire oorzaak van het verlies van gegevens.

Schatting van opslagruimte.

Sensoren in digitale camera’s zijn 1-2 diafragmastops verwijderd van hun fysieke beperkingen. Wat we bedoelen is dit: als de technologie evolueert, is er een natuurlijke beperking van de voortgang. Gevoeligheid en ruiskarakteristieken voor elke vorm van lichtsensor zijn niet ver meer verwijderd van die grens.

De huidige camera’s neigen naar sensoren met 50 megapixels, hoewel deze resolutie al te hoog is voor compactcamera’s en het eindresultaat verslechtert. Gezien de grootte van de sensor en de kwaliteit van de optica, is 12 megapixels optimaal voor compactcamera’s. Zelfs DSLR camera’s lopen tegen hun grenzen op bij 20-24 megapixels, voor hogere resoluties moet men voor full frame sensoren (24x36mm) of zelfs groter gaan.

Dus, rekening houdend met de megapixel-propaganda van fabrikanten lijkt het verantwoord om te stellen dat het grootste deel van de toekomstige camera’s minder dan 30 megapixels zal hebben. Dit geeft ons een schatting voor de benodigde opslagruimte per foto op de lange termijn: < 40 MB per afbeelding. Zelfs als bestandsversies zal zijn ingevoerd (groepering van varianten van één foto onder één bestandsreferentie), is de trend het implementeren van scripting van veranderingen zodat een kleine overhead zal worden opgenomen en niet een geheel andere afbeelding per versie. Met snellere hardware zal dit concept vrij snel bereikt zijn.

Om de hoeveelheid opslagruimte te schatten waarvoor u moet plannen, bepaalt u eenvoudig het aantal foto’s dat u neemt per jaar (eenvoudig met het tabblad zijbalk met tijdlijn van digiKam) en vermenigvuldigt deze met 40 MB. De meeste gebruikers zullen minder dan 2000 foto’s per jaar behouden wat minder dan 80 GB / jaar vergt. Ervan uitgaande dat u uw vaste schijf (of wat voor medium in de toekomst ook) om de 4-5 jaar zal vervangen zal de natuurlijke toename van de opslagcapaciteit volstaan ​​om uw hoofd boven water te houden.

De meer ambitieuze mensen zullen meer, misschien veel meer ruimte nodig hebben. Denk dan aan het kopen van een file-server, Giga-ethernet is tegenwoordig geïntegreerd op moederborden en het is een fluitje van een cent om de bestanden via het lokale netwerk op te halen. Sprekend over moderne moederborden: ze hebben nu de mogelijkheid om SATA-media via een USB-connectie te koppelen. Dit maakt het echt gemakkelijk om een externe SATA-schijf te kopen en aan uw machine aan te sluiten. 4000 GB drives zullen dit jaar op de markt komen in 2020. Dit zijn geweldig compacte opslagcontainers voor omwisselen van reservekopieën: houd één schijf thuis en een andere ergens anders.

Reservekopie maken en herstellen

Een 4 TB HDD is niet erg duur. Geef iemand anders niet de schuld van het verlies van gegevens! 6% van alle pc’s zullen slachtoffer worden van gegevensverlies in een gegeven jaar. Maak reservekopieën volgens een vast plan en test de reservekopie voordat u iets ingrijpend gaat doen als het installeren van een ander of nieuw besturingssysteem of het veranderen van schijven, herindelen van partities of dergelijke.

Het voorkomen van rampen

Stel dat u nauwgezet elke dag reservekopieën maakt op een externe SATA-schijf. Dan komt er een de dag waarop de bliksem inslaat. U had geluk als uw externe harde schijf op dat moment niet was aangesloten.

Rampen gebeuren plaatselijk en vernietigen veel. Vergeet vliegtuigcrashes:vuur, water, elektriciteit, kinderen en diefstal zijn gevaarlijk genoeg om voor gegevens. Ze bestrijken meestal een hele kamer of het gehele huis.

Daarom, preventie voor rampen betekent de-centralisering van gegevens. Breng uw reservekopieën naar boven, naar een ander huis, uw kantoor of wat dan ook.

Er is een ander goed aspect aan de fysieke scheiding: zoals gezegd, paniek is vaak de oorzaak van het vernietigen van gegevens, zelfs de gegevens op reservekopieën. Met een reservekopie niet meteen bij de hand kan dat op een dag wel eens uw geluk zijn.

Technische kanten van reservekopieën

• Volledige backup: een complete reservekopie van alle bestanden. Het is een momentopname zonder geschiedenis, het betreft een complete kopie gemaakt op een bepaald moment.

• Differentiële backup: Een reservekopie van alleen die bestanden die zijn gewijzigd sinds de laatste volledige backup. Vormt een volledige momentopname van twee momenten in de tijd: de volledige backup en de laatste differentiële backup.

• Incrementele backup: Een reservekopie van alleen de bestanden die zijn gewijzigd sinds de laatste reservekopie. Bestaat uit meerdere momentopnamen. U kunt opnieuw de oorspronkelijke staat herstellen op elk tijdstip dat er een reservekopie werd gemaakt. Dit komt dichtst bij een versioning systeem, behalve dat het alleen wordt bemonsterd en niet continue wordt uitgevoerd.

Maak reservekopieën van de gegevens

De helemaal beste praktijk is om een reservekopie van de gegevens te maken:

• Voer een volledige backup uit naar een extern opslagmedium.

• Controleer de juistheid van de gegevens en berg het op (ramppreventie).

• Gebruik een ander opslagmedium voor frequente reservekopieën.

• Ruil de opslagapparaten elke maand om nadat de juistheid van de gegevens gecontroleerd is.

Een nuttig hulpmiddel voor het maken van reservekopieën

rsync van Linux is een prachtig klein hulpprogramma dat verbazingwekkend eenvoudig is in te stellen op uw apparatuur. In plaats van een script met FTP opdrachten of een andere vorm van bestandsoverdracht kopieert rsync alleen de verschillen in de bestanden die zijn veranderd. Gecomprimeerd en via ssh als u wilt, voor de veiligheid. Dat is een mondvol.

Een redelijke benadering voor het maken van reservekopieën van afbeeldingen kan er zó uit zien:

• Maak van belangrijke opnamen onmiddellijk (nadat u de beelden op uw pc hebt geladen) een reservekopie op optisch medium.

• maak dagelijks een gedeeltelijke backup van de werkruimte.

• Maak wekelijks een differentiële backup en verwijder integrale backups van week-2 (2 weken geleden).

• Maak een maandelijkse differentiële backup en verwijder de backup van 2 maanden geleden.

• Als ze niet al fysiek apart zijn scheidt de twee backups dan (ruilen met een ander backup-medium).

Dit protocol heeft tot doel om u meer tijd te gunnen om de verliezen te herkennen en volledig te herstellen. Tegelijkertijd houdt u het reservekopievolume op <130% van de werkruimte. U eindigt met een dagelijkse versie van de laatste 7-14 dagen, een wekelijkse momentopname voor ten minste een maand en een momentopname van elke maand. Verder uitdunnen moet handmatig worden gedaan na een volledige verificatie. Behoud uw afbeeldingen over aale wijzigingen in technologie en eigenaren.

Om uw waardevolle foto’s de komende 40 jaar of zo te laten overleven (want dat is zo ongeveer de tijd wanneer u echt geïnteresseerd bent om opnieuw die mooie oude foto’s van u als kind, tiener te bekijken etc.) zijn er twee strategieën om onder de loep te nemen:

• Blijf bij met technologie, blijf niet meer achter dan enkele jaren.

• Bewaar uw foto’s in een open, niet merkgebonden formaat.

Blijf bij met de technologie

Aangezien de toekomst van nature onvoorspelbaar is, moeten we bij alle uitspraken die we vandaag doen het nodige voorbehoud maken en terwijl we voort gaan moeten die telkens worden herzien. Helaas is er geen kortere weg mogelijk voor enige fundamentele waakzaamheid. Op zijn minst elke 5-8 jaar dient zich de vraag aan van terugwerkende uitwisselbaarheid. Hoe minder veranderingen we in het verleden hebben uitgevoerd hoe minder vragen er in de toekomst hoeven te worden beantwoord.

Natuurlijk elke keer dat u uw computer systeem verandert (machine, besturingssysteem, toepassingen, DRM) moet u uzelf deze vragen stellen. Vandaag de dag, als je wilt overschakelen naar Windows, moet je jezelf wel drie keer afvragen of u nog steeds uw foto’s kunt importeren, en, belangrijker, dus, of u ooit in staat bent om ze op een ander systeem of apparaat te plaatsen. De kans is groot dat u dat niet kunt. We zien veel mensen om ons heen die daarmee worstelen, omdat Windows hen in een streng DRM regiem dwingt. Hoe kunt u aan Windows bewijzen dat u de eigenaar van de auteursrechten van uw foto’s bent?

In principe moeten de vragen worden beantwoord in lijn met dit document: gebruik en overstappen naar open standaard ondersteund door een veelheid aan toepassingen.

Virtualisatie wordt nu beschikbaar voor iedereen. Dus als u een oud systeem heeft dat belangrijk is voor het lezen van uw afbeeldingen, behoud het dan, installeer het als een virtuele machine voor later gebruik.

Anders is het advies heel simpel: elke keer dat u uw computerarchitectuur, uw opslag en backup-technologie en uw bestandsformaat wijzigt, controleer het dan. Ga door de bibliotheek en converteer naar een nieuwere standaard indien nodig. En houd u aan open standaards.

Schaalbaarheid

Schaalbaarheid is een uitdrukking van techneuten voor het gemakkelijk opschalen van het systeem.

Laten we aannemen dat u gepland heeft voor schaalbaarheid en de map die u wilt vergroten heeft toegewezen aan een aparte schijf of partitie. Met Linux systemen kunt u dan de map kopiëren en de grootte aanpassen aan de nieuwe schijf.

Open bestandsformaten gebruiken

De korte geschiedenis van het digitale tijdperk in de afgelopen 20 jaar heeft keer op keer meer dan bewezen dat merkafhankelijke formaten niet de manier zijn om te uw gegevens voor de volgende tien jaar begrijpelijk te houden. Microsoft is zeker de bekende boosdoener van dat soort vanwege zijn dominante marktaandeel. Maar andere bedrijven zijn eigenlijk (misschien onbedoeld) slechter omdat ze niet lang genoeg in de markt blijven of een klein aantal gebruikers hebben. Bij Microsoft heeft men tenminste het voordeel van groot aantal mensen die dezelfde problemen hebben. Het vinden van een oplossing heeft daardoor meer succes. Toch gebruikt Microsoft in sommige gevallen open-source documentatie om hun eigen systemen te begrijpen, zo slecht onderhouden is hun eigen documentatie geweest. Meestal kan men met een gegeven Msoffice suite niet goed een een document lezen dat is gemaakt met dezelfde toepassing twee belangrijke versies eerder.

Beeldformaten hebben een langere levensduur dan kantoordocumenten en worden eenbeetje minder beïnvloed door veroudering.

Open Source standaarden hebben het grote voordeel van een openspecificatie. Zelfs als op een dag in de toekomst er geen software is om het te lezen, kan daarvoor een software pakket gemaakt worden, een taak die met het jaar eenvoudiger wordt.

Standaard opslaginstellingen voor algemene afbeeldingsformaten van de afbeeldingsbewerker van digiKam

JPEG bestaat al een tijdje en hoewel het formaat kwaliteitsverlies geeft elke keer dat u een wijziging maakt en die opslaat, is het alomtegenwoordig, ondersteunt JFIF, Exif, IPTC en XMP-metagegevens, heeft goede compressieverhoudingen en kan gelezen worden door alle beeldverwerkingssoftware. Door de metadata beperking, kwaliteitsverlies, gebrek aan transparantie en 8 bits kanaaldiepte voor kleuren, raden we het niet aan. JPEG2000 is beter, kan zonder verlies worden toegepast, maar het heeft een smalle gebruikersbasis.

GIF is een eigen, gepatenteerd formaat en verdwijnt langzaam uit de markt. Gebruik het niet.

PNG is uitgevonden als een open-source standaard vervanger voor GIF, maar het doet nog veel meer. Het is lossless (zonder verlies), ondersteunt XMP, Exif en IPTC metadata, 16-bits codering van kleuren en volledige transparantie. PNG kan gamma en gegevens voor kleurkwaliteit voor een betere kleuraanpassing op heterogene platforms opslaan. Het nadeel is een relatief grote bestandsafmeting (maar kleiner dan TIFF) en langzame compressie. Wij bevelen het aan.

TIFF is algemeen aanvaard als een beeldformaat. TIFF kan bestaan ​​in gecomprimeerde vorm of in een houder met een verlieslooscompressie-algoritme (Deflate). Het handhaaft een hoge beeldkwaliteit, maar ten koste van veel grotere bestanden. Sommige camera’s kunnen uw foto’s in dat formaat opslaan. Een probleem is dat het formaat is gewijzigd door zoveel mensen dat er nu 50 of meer versies bestaan en niet allemaal worden ze herkend door alle toepassingen.

PGF voor Progressief grafisch bestand is een ander niet zo bekend maar open afbeeldingsformaat. Op Wavelet gebaseerd, biedt gegevenscompressie met en zonder verlies. PGF is goed te vergelijken met JPEG 2000, maar het werd meer ontwikkeld voor snelheid (compressie / decompressie) dan voor de beste compressieverhouding. Bij eenzelfde bestandsgrootte lijkt een PGF bestand significant beter dan een JPEG, terwijl het ook zeer goed blijft in progressieve weergave. PGF-formaat wordt intern in digiKam gebruikt om gecomprimeerde miniaturen in de database op te slaan. Voor informatie over het PGF formaat zie de libPGF homepagina

Hulpmiddel voor RAW importeren van de afbeeldingsbewerker van digiKam

RAW-formaat. Sommige, meestal duurdere, cameras ondersteunen RAW-opnamen. Het RAW-formaat is niet echt een beeldnorm, het is een container formaat dat verschillend is voor elk merk en cameramodel. RAW-formaat opnamen bevatten minimaal verwerkte gegevens uit de beeldsensor van een digitale camera of image scanner. Raw-afbeeldingsbestanden zijn ook wel digitale negatieven, omdat ze dezelfde rol vervullen als negatieven van film in traditionele analoge chemische fotografie: dat wil zeggen, het negatief is niet direct bruikbaar als beeld, maar heeft alle informatie die nodig is om een beeld te maken. Het opslaan van foto’s in RAW-formaat van een camera zorgt voor een hoger dynamisch bereik en u kunt de instellingen, zoals witbalans veranderen, nadat de foto is genomen. De meeste professionele fotografen gebruiken RAW-formaat, omdat het hen maximale flexibiliteit biedt. Het nadeel is dat RAW beeldbestanden erg groot kunnen zijn.

We bevelen duidelijk aan om af te zien van archiveren in RAW-formaat (in tegenstelling tot het fotograferen in RAW-formaat, dat kunnen we aanraden). Het heeft alle slechte ingrediënten: vele variëteiten en een merkgebonden eigen karakter. Het is duidelijk dat je in een paar jaar tijd je oude RAW-bestanden niet meer kan gebruiken. We hebben al gezien dat mensen van camera veranderen en hun kleurprofielen verliezen en grote moeite hebben om hun oude RAW-bestanden correct te behandelen. Beter te veranderen in DNG-formaat.

DNG of Digital Negative bestandsformaat is een open RAW afbeeldingsformaat, vrij van royalty’s en ontworpen door Adobe Systems. DNG was een reactie op de vraag naar een algemeen gebruikt Camera RAW-bestandsformaat. Het is gebaseerd op het TIFF/EP-formaat en verplicht het gebruik van metagegevens. Een handvol fabrikanten van camera’s hebben DNG al aangenomen, laten we hopen dat de belangrijkste medespelers Canon en Nikon het op een dag ook zullen gebruiken. Apple ProRAW formaat beschikbaar sinds de iPhone 12 Pro Max is gebaseerd op DNG.

digiKam levert een hulpmiddel om in bulk RAW naar DNG te converteren in Takenwachtrijbeheerder

We adviseren sterk om RAW-bestanden in DNG om te zetten voor archiveringsdoeleinden. Ondanks het feit dat DNG is gemaakt door Adobe, is het een open standaard en wordt op grote schaal omarmd door de open-source gemeenschap (die meestal een goede indicator is van eeuwige eigenschappen). Sommige fabrikanten hebben al DNG RAW aangenomen als formaat. En last but not least, Adobe is de belangrijkste bron van grafische software vandaag, en ze ondersteunen natuurlijk hun eigen uitvinding. Het is een ideale archiveringsindeling. De ruwe sensorgegevens zullen worden bewaard in TIFF-formaat in DNG, zodat het risico voortvloeiend uit eigen RAW formaten wordt verminderd. Dit alles maakt overstappen naar een ander besturingssysteem niet moeilijk.

digiKam levert hulpmiddellen om in bulk RAW naar DNG te converteren tijdens downloaden uit de camera

XML voor Extensible Markup Language of RDF (Resource Description Framework). XML is net als HTML, maar waar HTML vooral bezig is met de presentatie van de gegevens, is XML bezig met de weergave van gegevens. Bovendien is XML niet-merkgebonden, besturingssysteem-onafhankelijk, vrij eenvoudig te interpreteren, tekst-gebaseerd en goedkoop. RDF is WC3’s oplossing voor het integreren van een grote verscheidenheid aan toepassingen zoals bibliotheekcatalogi, wereldwijde directories, nieuws feeds, software, alsmede verzamelingen van muziek, afbeeldingen en evenementen die XML gebruiken als een syntaxis voor uitwisseling. Tezamen bieden de specificaties een werkwijze die gebruik maakt van een lichtgewicht ontologie op basis van de Dublin Core die ook het “Semantic Web” (eenvoudige uitwisseling van kennis op het web) ondersteunt.

IPTC wordt XMP

Dat is waarschijnlijk een van de redenen waarom, rond 2001, Adobe haar op XML gebaseerde XMP technologie introduceerde om Image resource block technologie van de negentiger jaren te vervangen. XMP staat voor: Extensible Metadata Platform, een mengsel van XML en RDF. Het is een technologie voor labeling, die gebruikers toestaat gegevens over een bestand in het bestand zelf in te sluiten, de bestandsinfo wordt opgeslagen met de extensie *.xmp* (om het gebruik van XML/RDF aan te geven).

XMP: hoewel ODF voor altijd leesbaar zal zijn (aangezien de tekst in duidelijke tekst wordt weergegeven), zal XMP uw metagegevens behouden in een duidelijk te begrijpen formaat XML. Hier geen gevaar van het later niet kunnen lezen. Het kan worden ingebed in de beeldbestanden of als afzonderlijke bijbehorende bestanden (Aanhangsel concept). XMP kan gebruikt worden in PDF, JPEG, JPEG2000, GIF, PNG, HTML, TIFF, Adobe Illustrator, PSD, Postscript, Encapsulated Postscript en videobestanden. In een typisch bewerkt JPEG-bestand, wordt XMP informatie gewoonlijk meegenomen naast Exif- en IPTC-data.

digiKam kan XMP-inhoud van afbeeldingen en video’s tonen

Insluiten van metadata in bestanden maakt een eenvoudige uitwisseling en overdracht mogelijk van bestanden tussen producten, leveranciers, platforms, klanten, zonder dat metadata verloren gaan. De meest voorkomende metadata-tags opgenomen in XMP-gegevens zijn die van het Dublin Core Metadata Initiative, die zaken als titel, beschrijving, maker, enzovoorts bevatten. De standaard is ontworpen om uitbreidbaar te zijn, waardoor gebruikers hun eigen aangepaste soorten metadata kunnen toevoegen in de XMP-gegevens. XMP maakte het in het algemeen niet mogelijk om binaire soorten gegevens op te nemen. Dit betekent dat binaire gegevens die men wil uitvoeren in XMP, zoals miniaturen, moeten worden gecodeerd in een of ander XML-vriendelijk formaat, zoals Base-64.

Veel fotografen kiezen voor het bewaren van de originelen van hun opnamen voor hun archief (meestal in RAW). XMP zou daar goed in passen omdat het de metadata apart van de beeldbestanden bewaart. We zijn het daar niet mee eens. Er kunnen problemen ontstaan bij het koppelen van metadata en beeldbestanden. En zoals eerder gesteld, RAW formaten kunnen in onbruik raken. Ik adviseer om DNG te gebruiken als container en daar alle informatie in onder te brengen.

The Dublin Core Metadata Initiative is een open organisatie die zich bezig houdt met de ontwikkeling van standaarden voor online metagegevens die een breed bereik van toepassingen en business-modellen ondersteunen. DCMI’s bezigheden omvatten: werk aan architectuur en vorming, discussies en samenwerkingen in DCMI gemeenschappen en DCMI projectgroepen. Jaarlijkse conferenties en workshops, standaard samenwerking en opleidingspogingen om breed gedragen aanvaarding van standaard metagegevens en werkwijzen te promoten.

digiKam ondersteunt aanhangsel-bestanden met vele opties uit het instellingenpaneel

Bescherm uw gegevens

• Gebruik piekspanningbeveiliging (UL 1449 standaard) waar mogelijk gecombineerd met UPS.

• Gebruik ECC geheugen om juiste gegevensoverdracht te verifiëren (zelfs bij opslag van bestanden).

• Houd uw harde schijf in het oog (temperatuur, geluid,..) en maak reservekopieën.

• Bewaar reservekopieën op een andere locatie, achter slot en grendel, gebruik web opslagruimte.

• Gebruik archiveringsmedia en branders.

• Raak niet in paniek bij verlies van gegevens, leg uw herstelplan voor aan een leek.

• Kies uw bestandssysteem, partities en mappen om gemakkelijk te kunnen uitbreiden.

• Gebruik open, niet merkgebonden standaards om uw beelden te organiseren en op te slaan.

• Voer iedere vijf jaar een herziening uit van uw techniek en migratiesysteem.