Verminking van gegevens en verlies

Hoofdfactoren van verlies van digitale gegevens

Terwijl digitale gegevens verloren kunne gaan als de enige kopie van een digitaal medium wordt gestolen of verloren gaat in een brand - dat soort verlies is hetzelfde als wat er kan gebeuren met traditionele papieren kopieën of negatieven. Maar hier spreken we over de andere bronnen van verlies van digitale gegevens die ruwweg gecategoriseerd kunnen worden in de volgende gebieden van zorg:

• De fysieke aftakeling van de dragers (alle gegevensdragers vervallen met verschillende snelheden)

• Onopgemerkte overdrachtsfouten tijdens gegevensoverdracht.

• Het ontbreken van ondersteuning voor langere termijn door bedrijfseigen digitale formaten.

• Ouderwetse apparatuur.

Kroll Ontrack, de grootste firma voor gegevensherstel beschikt over interessante statistieken betreffende de oorzaak van wat eigenlijk gegevens verloren doet gaan.

Oorzaak van verlies van gegevens	Perceptie	Werkelijkheid
Apparatuur- of systeemprobleem	78%	56%
Menselijke fout	11%	26%
Programmatuur beschadiging of probleem	7%	9%
Computervirussen	2%	4%
Ramp	1-2%	1-2%

Laten we dus die gevallen stap voor stap analyseren.

Verval van opslag

De onderstaande lijst met apparaten zijn gesorteerd op toegangssnelheid tot gegevens, van de langzaamste tot de snelste.

Magnetische media

Magnetische tapes worden algemeen gebruikt in de professionele back-up systemen, maar zelden in thuisgebruik. Tapes hebben problemen met het bewaren van gegevens op de lange termijn, kunnen beschadigd worden door sterke magneetvelden en de tapetechnologie wijzigt voortdurend. Toch zijn tapes op sommige gebieden veiliger dan optische stations: ze zijn minder gevoelig voor krassen, vuil en schrijffouten. Om problemen met bewaren van gegevens op lange termijn te vermijden moeten tapes elke 5-8 jaar opnieuw worden gekopieerd, anders zullen teveel bits falen en ontsnappen aan de checksum voor bescherming. Het nadeel van magneetbanden is dat de prijs van de taperecorder hoog is en de hersteltijd kan 20x langer zijn van een vaste schijf. De back-up systemen op tape worden het best gebruikt in grote professionele omgevingen die back-up van enorme hoeveelheden gegevens nodig hebben.

Optische stations

U zou verbaasd kunnen zijn om te weten dat veel CD-R’s fysisch verslechteren met een snelheid groter dan film. Toch terwijl film tientallen jaren langer kan duren dan sommige optische media, verliezen digitale media die regelmatig worden hersteld nooit iets verliezen. Film begint te vervallen op het moment dat het wordt gemaakt en ontwikkeld - digitale 1nen en 0len doen dat niet. Film zal nooit dezelfde kleur en contrast hebben als toen het eerst is gemaakt. Digitaal doet dat niet. Hoewel, digitale media zijn gevoelig voor corruptie.

Alle optische media zijn zeer gevoelig voor fouten, zelfs in een pas geschreven staat. Dat is waarom ze zwaar zijn beveiligd met een fouten corrigerende codes die tot 25% van de effectieve opslag op de schijf is. Maar zelfs met die enorme hoeveelheid bescherming zullen zij achteruit gaan door chemische veroudering, blootstelling aan ultraviolet licht, krassen, stof, etc.

De gemiddelde CD of DVD, waar goed voor wordt gezorgd, zou niet meer vertrouwd moeten worden voor meer dan een paar jaar. U kunt archiefkwaliteit CD’s en DVD’s kunnen kopen die veel langer deren, maar moeilijker te krijgen zijn en veel duurder. Er bestaan met goud bedekte optische media die een paar euro per stuk kosten en die beweren dat ze honderd jaar meegaan (als u het wilt geloven).

Uiteindelijk zullen alle optische schijven onleesbaar worden, maar u kunt het risico verminderen met behulp van goede kwaliteit schijven, een goede recorder en opslaan op een correcte manier. De beste optische station-recorders zijn niet veel duurder dan de goedkoopste, maar ze schrijven op een veel betrouwbaarder manier. Het is een kwestie van het kiezen van de juiste.

Voor beschadigde optische stations, geeft Wikipedia een lijst met algemene toepassingen, ontworpen om gegevens van beschadigde floppies, vaste schijven, flash-media, zoals camerageheugen en USB-apparaten, etc. te halen.

Optische media blu-ray-schijven met twee lagen kunnen 50 GB opslaan, bijna zes keer de capaciteit van een dual-layer dvd van 8,5 GB. Alles wat is gezegd over cd’s/dvd’s geldt ook voor blu-ray-schijven.

De beste praktijk: brand optische media langzaam met een goede recorder op media met archiefkwaliteit in een open, niet-bedrijfseigen formaat, lees de gegevens terug om die te controleren, label ze met beschrijvende tekst, datum en auteur, berg ze op waar het schoon, donker, dierveilig en droog is. En vergeet niet om ze opnieuw te kopiëren naar de volgende generatie media voordat u het laatste stukje hardware of software weggooit dat ze nog kan lezen.

Harde schijven

Fabrikanten van vaste schijven (HDD) houden hun statistieken voor zichzelf. Met garantie van een fabrikant koopt u een nieuwe schijf, maar geen gegevens over hoelang ze meegaan. Backblaze, een opslagleverancier, rapporteerde een 1.5% jaarlijkse faalsnelheid in 2023 gebaseerd op een inventaris van 237,278 vaste schijven. Google heeft een grootschalig onderzoek gedaan op HDD faalmechanismen gedaan: Disk Failures study.

In een notendop: schijven draaien het langst bij temperaturen tussen 35 °C en 45 °C. Het kan tegen-intuïtief zijn, maar faalsnelheden nemen dramatisch toe bij lagere temperaturen. Besturingsonderdelen (elektronica) zijn de belangrijkste bronnen van falen,een bron van fouten waar SMART geen diagnose op doet. Sommige SMART fouten zijn een indicatie van dreigend falen, in het bijzonder aantallen scanfouten en herplaatsingen. Verwachte levensduur is 4-5 jaar.

In het algemeen en in strijd met intuïtie of ecologische overwegingen, resulteert het permanent draaien van een vaste schijf in een langere levensduur dan wanneer u hem de hele tijd aan en uit zet. Het is zelfs gemeld dat leeftijd van HDD verminderd kan worden door agressief energiebeheer die snel de schijf laat stoppen. Dus slechtste factoren voor HDD zijn waarschijnlijk trillingen, schokken en lage temperaturen.

Als uw schijf begint met rare geluiden te maken, zal normale software voor herstel van bestanden niet gaan helpen. Maak een snelle back-up. (Gebruik het commando dd indien mogelijk, niet een normaal programma voor het maken van reservekopieën want dd leest in een soepele, spiraalvormige stroom van begin tot eind en belast niet het mechanische gedeelte). Er zijn gespecialiseerde bedrijven die gegevens kunnen herstellen van een beschadigd station, maar het proces is erg kostbaar.

De suite van Linux SmartMonTools biedt u het afvragen van de hardware apparaten voor opslag op toekomstig falen. We bevelen het gebruik van dit soort hulpmiddel op uw computer ten zeerste aan.

Solid State Drives

SSD’s zijn mechanisch robuuster en veel sneller dan HDD’s. SSD’s zijn HDD’s aan het vervangen als capaciteit en prijs competitief wordt, waarmee ze toenemend een goede oplossing zijn voor permanente opslagapparaten.

Backblaze, een opslagleverancier, rapporteerde een 1% jaarlijkse faalsnelheid in 2023 gebaseerd op een inventaris van 3.144 SSD’s. Dus SSD’s zijn beter dan HDD’s, maar ook niet 100% betrouwbaar.

Wanneer SSD’s gebruik worden als extern apparaat, is een belangrijke oorzaak voor het verlies van gegevens (vaak herstelbaar) het onveilig verwijderen van SSD’s uit een computer. Voordat gegevens worden opgeslagen vanuit het computergeheugen op een aangesloten apparaat, blijven deze gegevens enige tijd in buffers. Bij vaste schijven betekent dit hooguit seconden, terwijl dit met SSD’s tientallen minuten kan bedragen. Daarom, voordat u een flash-apparaat loskoppelt, ga na dat dat de gegevensbuffers leeg gemaakt zijn door middel van de mogelijkheid apparaat veilig verwijderen van uw besturingssysteem.

Niet-vluchtig geheugen

NVM Express (NVMe) voor niet-vluchtig geheugen is een interface voor een logisch apparaat voor toegang tot een niet-vluchtige opslagmedium gekoppeld aan de PCI Express (PCIe) bus. Het gebruikt hetzelfde erg snelle NAND-flash-geheugen gebruikt in SSD’s, maar gebruikt het interface van M.2 kaarten in plaats van het langzamere mSATA, gebruikt met oudere HDD’s.

NVMe biedt hardware en software van hosts om volledig de niveaus van parallellisme mogelijk in moderne SSD’ te benutten. NVMe reduceren I/O overhead en brengt verschillende verbeteringen in presentatie relatief tot eerdere SSD’s. Protocollen voor het mSATA interface zijn ontwikkeld voor gebruik met veel langzamere HDD’s waar een erg lange vertraging bestaat tussen een verzoek en gegevensoverdracht en waar snelheden van gegevens veel langzamer zijn dan RAM-snelheden.

Omdat NVMe apparaten dezelfde hardware als SSD’s gebruiken om gegevens op te slaan, moet de robuustheid hetzelfde zijn.

Belangrijk

In alle gevallen zijn SSD’s of NMVe’s als interne apparaten de modernere en efficiëntere oplossing om de database en de verzamelingen van afbeeldingen te bevatten.

Falen van stroomvoorziening

Spanningspieken

Tot wel 1% van alle computers krijgen ieder jaar te maken met bliksem en spanningspieken.

Deze sectie gaat over het totale verlies van gegevens als gevolg van spanningspieken. Natuurlijk kunt u af en toe verlies van gegevens krijgen als gevolg van stroomuitval bij het opslaan van bestanden. Maar die verliezen kunnen normaal zonder veel moeilijkheden worden hersteld.

U hoeft niet te wachten op de volgende onweersbui om bezorgd te zijn over hoe een plotselinge schommeling in elektrische energie uw computersysteem kan beïnvloeden. Uit recente statistieken blijkt dat maar liefst 63% van alle elektronica-ongelukken te wijten zijn aan problemen met de voeding en de meeste computers zijn onderworpen aan twee of meer spanningsafwijkingen per dag. Omdat spanningspieken of black-outs overal en op elk moment kunnen optreden, is het zinvol om uw computer te beschermen, door te investeren in een soort van overspanningsbeveiliging.

Hoe spanningspieken ontstaan

Een spanningspiek treedt op wanneer de netspanning langer dan 10 milliseconde hoger word dan de nominale waarde. Zestig procent van alle spanningspieken worden thuis of op kantoor veroorzaakt, in het algemeen wanneer een apparaat met een motor (zoals een wasdroger, koelkast, of waterpomp) wordt uitgeschakeld en de stroom die werd gebruikt, elders als overspanning beschikbaar komt. De resterende 40 procent van de spanningspieken wordt veroorzaakt door factoren zoals bliksem, schakelingen in het net door nutsbedrijven, zwaaiende elektrische leidingen (niet in Nederland), slechte bedrading, en ga zo maar door.

Terwijl de meeste elektrische apparaten niet worden beïnvloed door overspanning, zijn apparaten met computer chips en high-speed microprocessoren vatbaar voor ernstige schade. Spanningsafwijkingen in uw computer, kan leiden tot vastlopen van het toetsenbord, volledig verlies van gegevens, hardware beschadiging, een beschadigd moederbord en meer. Het u uzelf niet beschermt tegen het onvermijdelijke kan dat resulteren in verlies van tijd en geld.

Spanningspiekbeveiligers

De meest voor komende beveiliging tegen spanningspieken is een overspanningsbeveiliging of onderdrukker, een apparaat dat werkt door het absorberen van een deel van de overtollige energie en het omleiden van de rest naar de aarde. Deze zijn meestal verkrijgbaar in de vorm van een stekkerdoos (een van die lange apparaten die zo’n zes verdeelpunten en een enkele, geaarde stekker hebben). Houd in gedachten, dat niet elke stekkerdoos dient als een overspanningsbeveiliging.

Bij het selecteren van uw overspanningsbeveiliging, wilt u er zeker van zijn dat deze voldoet aan de UL 1449 norm, die een bepaalde minimum niveau van beveiliging garandeert. U zou ook moeten zoeken naar een apparaat dat bescherming biedt tegen bliksem (niet iedereen let daar op) en dat zekerheid biedt aan apparatuur die goed is aangesloten.

Omdat een spanningspiek altijd een weg naar uw computer kan vinden moet u er voor zorgen dat elk randapparaat aangesloten op uw systeem beveiligd is. Dit geldt ook voor uw telefoonlijn of kabel modem, omdat spanningspieken ook via die weg kunnen gaan. Een aantal fabrikanten produceren nu piekspanningonderdrukkers met een telefoonaansluiting voor uw modem samen met de stopcontacten, terwijl anderen aansluitingen voor coaxkabel hebben voor diegenen die een kabelmodem of tv-tunerkaart gebruiken.

Als u een notebook-computer hebt, wilt u ook daarvoor een overspanningsbeveiliging bij u hebben. Een verscheidenheid van onderdrukkers speciaal ontworpen voor notebooks is beschikbaar. Deze zijn klein van formaat en ze bezitten zowel elektrische als telefoon stopcontacten wat ze ideaal maakt voor onderweg.

Niet-te-verbreken stroomvoorziening

Terwijl een overspanningsbeveiliging uw systeem beschermt tegen kleine fluctuaties in de elektrische leidingen, zal het u niet helpen in het geval dat de stroom uit zou vallen. Zelfs een uitval van enkele seconden kan resulteren in verlies van waardevolle gegevens, dus vindt u het misschien de moeite waard om te investeren in een Niet-te-verbreken stroomvoorziening (UPS).

Behalve als piekbeveiliging schakelen deze apparaten automatisch naar batterijvoeding wanneer de stroom uitvalt, waardoor u de kans krijgt om gegevens op te slaan en uw systeem af te sluiten. Sommige modellen kunt u zelfs door laten werken tot de stroomvoorziening is hersteld. Bij aankoop van een UPS, zorg dan dat deze dezelfde kwaliteit heeft als die u zou kiezen bij een overspanningsbeveiliging, maar controleer ook de levensduur van de batterij en de meegeleverde software.

Gezien het potentiële risico voor uw computersysteem, is het waarborgen van de veiligheid tegen verstoringen in de stroomvoorziening een waardevolle investering. Een goede kwaliteit piekspanningsbeveiliger is niet al te duur. Het is een kleine prijs om te betalen voor uw gemoedsrust die u zult krijgen wetende dat uw computer goed beschermd is. Als minste overweeg alle netstekkers uit uw apparatuur te halen wanneer u op vakantie gaat.

Beleid voor bescherming

Web opslagdiensten

Amazon Web Services omvat S3 - Simple Storage Service. Met de juiste configuratie kunt u S3 als een drive op Linux, Mac en Windows systemen installeren zodat u het kunt gebruiken als back-up bestemming voor uw favoriete software. Google Drive is een andere populaire service voor voor opsla in de cloud, waarbij men een oneindige hoeveelheid gegevens op kan slaan.

Opslag in de cloud is duur in vergelijking met vaste schijven thuis. En u moet de afbeeldingen overbrengen over het relatief trage internet. Maar we denken dat opslag in d cloud een nuttige bescherming is tegen lokaal gegevensverlies van de meest essentiële afbeeldingen.

Google Photo en Flickr bieden online opslagdiensten gespecialiseerd voor foto’s. Kun vrije ruimte is beperkt en dus wilt u geen volledige resolutie beelden online. Maar de betaalde accounts bieden meer opslag.

Op web gebaseerde oplossingen zijn wat betreft het bewaren van gegevens redelijk veilig. Transmissiefouten worden gecorrigeerd (met dank aan het TCP-protocol) en de grote bedrijven bieden meestal reservekopieën plus gedistribueerde opslag, zodat ze zelfs beveiligd zijn tegen rampen.

digiKam levert een hulpmiddel om items naar iNaturalist webservice te exporteren

Transmissiefouten

Gegevensverlies gebeurt niet alleen op opslagapparaten, ze kunnen ook verloren raken bij verplaatsing binnen de computer of via netwerken (hoewel netwerkverkeer zelf via TCP tegen fouten is beschermd). Fouten treden af en toe op in interne computerbussen en geheugenchips. Consumentenhardware heeft geen bescherming tegen deze bitfouten, maar de technologie om het te minitoren en fouten te corrigeren bestaat. U kunt ECC (error code correctie) beveiligd geheugen kopen dat zal werken met een moederbord met ondersteuning voor ECC, hoewel het duur is. Met ECC-RAM zal minstens het geheugen gemonitord worden op enkele bit-fouten en gecorrigeerd. Dubbele bitfouten zouden aan die detectie ontsnappen, maar ze komen te weinig voor om er zorgen over te maken.

De werkmethode voor gegevens tussen toepassing en opslagmedia

Dit diagram toont de ketenelementen voor transmissie in een computer, alle overgangen zijn gevoelig voor transmissiefouten. Het Linux ZFS en BTRFS <https://en.wikipedia.org/wiki/Btrfs>`_ bestandssystemen zijn ontworpen om de integriteit van het OS naar de vaste schijf te verzekeren.

De Bit Error Rate (BER) voor het geheugen en de transmissie kanalen is in de orde van 1 op 10 triljoen (10E-12 per bit). Dat betekent dat 1 op 3000 30MB afbeeldingen een fout heeft die alleen te wijten is aan de transmissieproblemen. Welnu, hoe dramatisch dat is voor een opname wordt aan het toeval overgelaten, het kan betekenen dat het beeld wordt vernietigd of dat een pixel ergens veranderd is in waarde. Maar omdat de compressie die op bijna alle foto’s wordt toegepast kan men de impact van een enkele bit-fout niet voorspellen.

Het ergste van dit alles is dat er waarschijnlijk geen waarschuwing van de hardware is wanneer een transmissiefout optreedt. Al die storingen gebeuren onopgemerkt totdat op een dag dat u de foto opent en tot uw verbazing ziet dat die beschadigd is. Het lijkt zorgelijk dat er geen bescherming is voor transmissiefouten binnen een computer. Het is verbazend dat het internet (TCP-protocol) veel veiliger is dan gegevenspaden in een computer.

On-gestabiliseerde voedingen zijn een andere bron van verliezen in de overdracht, omdat ze storing veroorzaken in gegevensstromen. Met vele normale bestandssystemen blijven die fouten onopgemerkt.

Toekomst van bestandssystemen

ZFS van Oracle lijkt een van de twee kandidaten te zijn die schijffouten op laag niveau aanpakt en het is zeer schaalbaar. Het is open-source, zwaar gepatenteerd, wordt geleverd met een met een licentie die onverenigbaar is met GPL en is beschikbaar op Linux en macOS.

Oracle heeft zijn BTRFS bestandssysteem geïntroduceerd. Het hanteert dezelfde beschermingstechniek als ZFS en is beschikbaar op Linux.

Menselijke fouten

Diefstal en ongelukjes

Onderschat het potentiaal voor gegevensverlies door diefstal en ongeluk niet. Die twee factoren zijn goed voor 86% van de laptop en 46% voor desktop verliezen van systeemgegevens. Voor laptops, telt diefstal alleen al voor 50%.

Schadelijke software (malware)

Gegevensverlies als gevolg van virussen is minder ernstig dan algemeen wordt aangenomen. Het vertegenwoordigt minder schade dan bijvoorbeeld diefstal of her-installaties. Terwijl malware meestal beperkt is tot Microsoft OS, groeit de frequentie van aanvallen op Linux en Apple systemen.

Mens en verlies van gegevens

Menselijke fouten, zoals in alles, is een groot probleem bij gegevensverlies. Mensen doen echt domme dingen. Ervaren gebruikers kunnen het verkeerde station los koppelen van een RAID -array of formatteren een schijf waardoor al hun gegevens vernietigd worden. Handelen zonder na te denken is gevaarlijk voor uw gegevens.

Wanneer er iets fout gaat, adem diep in en raak niet in paniek. De beste benadering is een plan maken alvorens enige actie te ondernemen die aanzienlijk verlies van gegevens kan veroorzaken. Ga eens zitten en leg uw plan voor aan een leek of zelfs beter aan een vrouw. U zult versteld staan ​​hoeveel domme ideeën er op die manier vermeden kunnen worden door eenvoudig een plan te maken en het aan iemand anders uit te leggen.

Als uw schijf rare geluiden begint te maken, zal normale software voor bestandsherstel niet werken. Maak snel en back-up. Als de schijf nog draait en u kunt uw gegevens niet vinden, zoek dan naar een toepassing voor dataherstel en maak een reservekopie naar een andere computer of schijf. Een universele en krachtige oplossing kan het gebruik van de open-source suite CloneZilla zijn. Het belangrijkste is om uw gegevens te downloaden op een ander station, hetzij op een andere computer of op een USB-stick of vaste schijf. Het is een goede praktijk om de herstelde data op een andere schijf op te slaan. Het programma dd is uw vriend op Linux-systemen.

Gangbare mythen uit de weg geruimd

Ik wil een paar algemene sprookjes uit de weg ruimen:

• Open-source bestandssystemen zijn minder gevoelig voor verlies van gegevens dan bedrijfseigen systemen: Fout, NTFS is eerder een klein beetje beter dan ext4, ReiserFS, JFS, XFS, om maar de meest populaire bestandssystemen die vaak standaard worden geleverd als standaard opslagformaat voor schijven gebruikt door distributies.

• Bestandssystemen met journaals voorkomen gegevens-schade/verlies: Fout, alleen versnellen zij het scanproces in geval van een plotselinge onderbreking tijdens de werking en voorkomen dubbele versies. Maar als een bestand niet volledig is opgeslagen voordat het ongeluk toeslaat zal het verloren gaan.

• RAID -systemen voorkomen gegevens beschadiging/verlies: Meestal fout, RAID 0 leest gegevens parallel van verschillende schijven zonder redundantie, in werkelijkheid maakt het gevoeliger voor gegevensverlies. RAID 1 schrijft gegevens gespiegeld, het voorkomt gegevensverlies door een enkele leesfout op een schijf, maar geen andere fouten. RAID 5 kan voorkomen dat gegevens verloren gaan als gevolg van het falen van een schijf, maar niet van fouten in het bestandssysteem of die in de RAID-controller. Veel low-end RAID-controllers (zoals de meeste controllers op het moederbord) rapporteren geen problemen zodat u het nooit zult merken. Als u het maanden later merkt, hoe groot is de kans dat u weet of de de controller schuldig was? Een sluipend probleem zijn fouten in de pariteitsgegevens van RAID 5. Het is vrij eenvoudig om een ​​bestand te controleren door het te lezen en het te vergelijken met de metagegevens. Het controleren van pariteitsgegevens is veel moeilijker, dus zult u meestal pariteitsfouten niet zien tot bij een herinstallatie. Dan is het natuurlijk te laat.

• Virussen vormen de grootste bedreiging voor digitale gegevens: Fout. Diefstal, en menselijke fouten zijn de primaire oorzaak van het verlies van gegevens.

Schatting van opslagruimte.

Sensoren in digitale camera’s zijn 1-2 diafragmastops verwijderd van de fysieke beperkingen om licht te voelen. Wat we bedoelen is dit: als de technologie evolueert, is er een natuurlijke beperking van de voortgang. Gevoeligheid en ruiskarakteristieken voor elke vorm van lichtsensor zijn niet ver meer verwijderd van die grens.

De huidige camera’s neigen naar sensoren met 50 megapixels, hoewel deze resolutie niet noodzakelijk waarneembaar is in het eindresultaat. Gegeven de grootte van de sensor en de kwaliteit van de optica, is 12 megapixels optimaal voor compactcamera’s. Zelfs DSLR camera’s lopen tegen hun grenzen op bij 20-24 megapixels. Voor hogere resoluties moet men voor full frame sensoren (24x36mm) of zelfs groter gaan.

Dus, rekening houdend met de propaganda van fabrikanten over megapixel, lijkt het veilig om te stellen dat het grootste deel van de toekomstige camera’s minder dan 30 megapixels zullen hebben. Dit een basis voor de schatting van de benodigde opslagruimte per foto op de lange termijn: < 40 MB per afbeelding. Zelfs als bestandsversies zal zijn ingevoerd (groepering van varianten van één foto onder één bestandsreferentie), is de trend het opslaan van de instructies gebruikt om de nieuwe versies te produceren op te slaan, dus slechts een kleine hoeveelheid gegevens moet opgeslagen worden in plaats van een gehele kopie van de gegevens, voor elke versie van de afbeelding.

Om de hoeveelheid opslagruimte te schatten waarvoor u moet plannen, bepaalt u eenvoudig het aantal foto’s dat u neemt per jaar (eenvoudig met het tabblad zijbalk met tijdlijn van digiKam) en vermenigvuldigt die met 40 MB. De meeste gebruikers zullen minder dan 2000 foto’s per jaar behouden wat minder dan 80 GB/jaar vergt. Ervan uitgaand dat u uw vaste schijf (of wat voor medium in de toekomst ook) om de 4-5 jaar zal vervangen zal de natuurlijke toename van de opslagcapaciteit volstaan ​​om boven de vereisten voor opslag te blijven.

Die ambitieuze fotografen elders die meer ruimte nodig hebben, misschien veel meer, zouden de koop van een bestandsserver overwegen. Giga-ethernet komt heden ten dage geïntegreerd in moederborden en bestandsoverdracht over een lokaal netwerk kan laaiend snel. En als u geen behoefte hebt aan die hoeveelheid gegevens, zou u moderne moederborden overwegen met ondersteuning voor snelle SSD’s. Een paar terabytes van snel SSD verbonden via een Thunderbolt 5 verbinding kan uw afbeeldingenbibliotheek laten vliegen.

Reservekopie maken en herstellen

6% van alle pc’s zal in elke gegeven jaar aan verlies van gegevens lijden. U bent gewaarschuwd, dus geef niemand anders de schuld wanneer het falen van de opslag gebeurt. Multi-terabyte HDD’s en SSD’s zijn niet erg duur. Koop er een en gebruik deze om vaak reservekopieën te maken volgens een plan. Nog beter, u maakt reservekopieën en test de reservekopie voordat u iets ingrijpend gaat doen zoals het opnieuw installeren van uw besturingssysteem, het veranderen van schijven, herindelen van partities of dergelijke.

Het voorkomen van rampen

Stel dat u nauwgezet elke dag reservekopieën maakt op een externe SATA-schijf. Dan komt er een de dag waarop de bliksem inslaat. U had geluk, tenzij u natuurlijk, net als andere mensen, uw externe schijven aangesloten had op uw computer.

Rampen die plaatselijk gebeuren kunnen veel ineens vernietigen. Vergeet vliegtuigcrashes: vuur, water, elektriciteit, kinderen en diefstal zijn gevaarlijk genoeg voor uw gegevens. Huisrampen vernietigen vaak een hele kamer of zelfs het gehele huis.

Dus preventie voor rampen betekent de-centralisering van opslag. Wissel af en toe reservekopieën, verplaats ze naar boven, naar een ander huis of de plaats waar u werkt.

Er is nog een goed reden om voor fysieke scheiding van uw reservekopieën. Zoals bovenstaand genoemd, paniek is vaak de oorzaak van het vernietigen van gegevens, zelfs de gegevens op reservekopieën. Met een reservekopie niet meteen bij de hand geeft u dat genoeg tijd om na te denken en daarom stomme vergissingen vermijden.

Technische kanten van reservekopieën

• Volledige backup: een complete reservekopie van alle bestanden. Het is een momentopname zonder geschiedenis, die een complete kopie betreft gemaakt op een bepaald moment.

• Differentiële backup: Een reservekopie van alleen die bestanden die zijn gewijzigd sinds de laatste volledige backup. Vormt een volledige momentopname van twee momenten in de tijd: de volledige backup en de laatste differentiële backup.

• Incrementele backup: Een reservekopie van alleen de bestanden die zijn gewijzigd sinds de laatste reservekopie in een set van reservekopieën. Bestaat uit meerdere momentopnamen. U kunt opnieuw de oorspronkelijke staat herstellen op elk tijdstip dat er een reservekopie werd gemaakt. Dit komt dichtst bij een systeem met versies, behalve dat het alleen wordt bemonsterd en niet continue wordt uitgevoerd.

Maak reservekopieën van de gegevens

De praktijk is om een reservekopie van de gegevens te maken is:

• Voer een volledige backup uit naar een extern opslagmedium.

• Controleer de juistheid van de gegevens en berg het op (ramppreventie).

• Gebruik een ander opslagmedium voor frequente reservekopieën.

• Ruil de opslagapparaten elke maand om nadat de juistheid van de gegevens gecontroleerd is.

Een nuttig hulpmiddel voor het maken van reservekopieën

rsync van Linux is een prachtig klein hulpprogramma dat verbazingwekkend eenvoudig is in te stellen op uw apparatuur. In plaats van een script met FTP opdrachten of een andere vorm van bestandsoverdracht kopieert rsync alleen de verschillen in de bestanden die zijn veranderd. Gecomprimeerd en via ssh als u wilt, voor de veiligheid. Dat is een mondvol.

Een redelijke benadering voor het maken van reservekopieën van afbeeldingen kan zijn:

• Maak van belangrijke opnamen onmiddellijk (nadat u de beelden op uw pc hebt geladen) een reservekopie op optisch medium.

• Maak dagelijks een incrementele backup van de werkruimte.

• Maak wekelijks een differentiële backup en verwijder integrale backups van week-2 (2 weken geleden).

• Maak een maandelijkse differentiële backup en verwijder de backup van 2 maanden geleden.

• Als media voor de reservekopieën niet al fysiek apart zijn, scheidt ze nu (ruilen met een ander backup-medium).

Dit protocol heeft tot doel om u meer tijd te gunnen om de verliezen te herkennen en, indien nodig, volledig te herstellen. Tegelijkertijd houdt u het reservekopievolume op <130% van de werkruimte. U eindigt met een dagelijkse versie van de laatste 7-14 dagen, een wekelijkse momentopname voor ten minste een maand en een momentopname van elke maand. Verder uitdunnen moet handmatig worden gedaan na een volledige verificatie.

U zou ook stappen moeten overwegen om uw afbeeldingen door elke wijziging in technologie en eigendom te behouden.

Om uw waardevolle foto’s één of twee generaties tot de volgende te overleven zijn er twee strategieën om onder de loep te nemen:

• Blijf bij met technologie, blijf niet meer achter dan enkele jaren.

• Bewaar uw foto’s in een open, niet merkgebonden formaat.

Blijf bij met de technologie

Aangezien de toekomst van fundamenteel onvoorspelbaar is, technologische voortgang lijkt zeker door te gaan. Elke 5-8 jaar dient zich de vraag aan van terugwerkende compatibiliteit met huidige systemen. Hoe minder variaties we in het verleden hebben gebruikt hoe minder vragen er in de toekomst nodig zijn om te worden beantwoord.

Natuurlijk elke keer dat u uw computer systeem verandert (machine, besturingssysteem, toepassingen, DRM) moet u uzelf deze vragen stellen. Vandaag de dag, als je wilt overschakelen naar Windows, moet je jezelf wel drie keer afvragen of u nog steeds uw foto’s kunt importeren, en, belangrijker, dus, of u ooit in staat bent om ze op een ander systeem of apparaat te plaatsen. Als gebonden bent aan bedrijfseigen systemen, dan is de kans is groot dat u dat niet kunt. We zien veel mensen die daarmee worstelen, omdat Windows hen in een streng DRM regiem dwingt. Hoe kunt u aan Windows bewijzen dat u de eigenaar van de auteursrechten van uw foto’s bent?

De oplossing van dit probleem is om alleen open standaarden te gebruiken die ondersteund worden door meerdere toepassingen.

Virtualisatie is nu breed beschikbaar voor iedereen. Dus als u een oud systeem heeft dat belangrijk is voor het lezen van uw afbeeldingen, bewaar het dan, zodat u het later kunt installeren als een virtuele machine.

Anders is het advies heel simpel: elke keer dat u uw computerarchitectuur, uw opslag en backup-technologie of uw bestandsformaat wijzigt - ga door de bibliotheek en converteer, indien nodig naar een nieuwere standaard. En houdt u aan open standaarden.

Schaalbaarheid

Schaalbaarheid is een uitdrukking van techneuten voor de mogelijkheid om een systeem van grootte te wijzigen, wat altijd opschalen betekent.

Laten we aannemen dat u gepland heeft voor schaalbaarheid en uw verzameling afbeeldingen hebt opgeslagen in een container die u wilt vergroten naar een aparte schijf of partitie. Met Linux systemen kunt u dan de map kopiëren en de grootte aanpassen aan de nieuwe schijf.

Open bestandsformaten gebruiken

De korte geschiedenis van het digitale tijdperk in de afgelopen 20 jaar heeft keer op keer meer dan bewezen dat merkafhankelijke formaten niet de manier zijn om te uw gegevens voor de volgende tien jaar begrijpelijk te houden. Microsoft is de welbekende leverancier van bedrijfseigen formaten vanwege zijn dominante marktaandeel. Maar andere bedrijven kunne erger zijn omdat ze niet lang genoeg in de markt blijven of een kleine basis van gebruikers of bijdragers hebben. Bij Microsoft heeft men tenminste het voordeel van groot aantal mensen die dezelfde problemen hebben. Dit maakt het veel waarschijnlijker dat u een oplossing voor het probleem met hun bedrijfseigen formaten vindt. Toch is het nog steeds algemeen dat een versie van de MSoffice suite niet juist een document leest dat dat is gemaakt met dezelfde toepassing twee hoofdversies eerder.

Gelukkig, afbeeldingsformaten hebben typisch een langere levensduur dan kantoordocumenten en worden een beetje minder beïnvloed door veroudering.

Open-source standaarden hebben het grote voordeel van een open specificatie. Zelfs als op een dag in de toekomst er geen software is om een speciaal bestandsformaat te lezen, kan iemand zo’n software pakket opnieuw maken, slechts gebaseerd op de specificatie.

Standaard opslaginstellingen voor algemene afbeeldingsformaten van de afbeeldingsbewerker van digiKam

JPEG bestaat nu al een tijdje. Het formaat met verlies dat elke keer dat u een gewijzigde versie van het origineel maakt en opslaat een beetje verliest. Aan de positieve kant, het is alomtegenwoordig, ondersteunt JFIF, Exif, IPTC en XMP-metagegevens, heeft goede compressieverhoudingen en kan gelezen worden door alle beeldverwerkingssoftware. Door de metadata beperking, kwaliteitsverlies, gebrek aan transparantie en 8 bits kanaaldiepte voor kleuren, raden we het niet aan. JPEG2000 is beter, kan zonder verlies worden toegepast, maar het lijdt aan een kleinere gebruikersbasis.

GIF is een bedrijfseigen, gepatenteerd formaat dat langzaam uit de markt verdwijnt. Gebruik het niet.

PNG is uitgevonden als een open-source standaard vervanger voor GIF, maar het doet nog veel meer. Het is lossless (zonder verlies), ondersteunt XMP, Exif en IPTC metadata, 16-bits codering van kleuren en volledige transparantie. PNG kan gamma en gegevens voor kleurkwaliteit voor een betere kleuraanpassing op heterogene platforms opslaan. Het nadeel is een relatief grote bestandsgrootte (maar kleiner dan TIFF) en langzame compressie. Wij bevelen het aan.

TIFF is algemeen aanvaard als een beeldformaat. TIFF kan bestaan ​​in gecomprimeerde vorm of in een houder met een verlieslooscompressie-algoritme (Deflate). Het handhaaft een hoge beeldkwaliteit, maar ten koste van veel grotere bestanden. Sommige camera’s kunnen uw foto’s in dat formaat opslaan. Een probleem is dat het formaat is gewijzigd door zoveel mensen dat er nu 50 of meer versies bestaan en niet allemaal worden ze herkend door alle toepassingen.

PGF voor Progressief grafisch bestand is een ander niet zo goed bekend, maar open afbeeldingsformaat. Op Wavelet gebaseerd, biedt gegevenscompressie met en zonder verlies. PGF is goed te vergelijken met JPEG 2000, maar het werd meer ontwikkeld voor snelheid (compressie / decompressie) dan voor de beste compressieverhouding. Een PGF bestand ziet er significant beter uit dan een JPEG-bestand met dezelfde bestandsgrootte, terwijl het ook zeer goed blijft in progressieve weergave. PGF-formaat wordt intern in digiKam gebruikt om gecomprimeerde miniaturen in de database op te slaan. Voor informatie over het PGF formaat zie de libPGF homepagina

Hulpmiddel voor RAW importeren van de afbeeldingsbewerker van digiKam

RAW-formaat. Sommige, uurdere, cameras ondersteunen RAW-opnamen. Het RAW-formaat is niet echt een afbeeldingstandaard, het is een container formaat dat verschillend is voor elk merk en cameramodel. RAW-formaat opnamen bevatten minimaal verwerkte gegevens uit de beeldsensor van een digitale camera of image scanner. Raw-afbeeldingsbestanden zijn ook wel digitale negatieven, omdat ze dezelfde rol vervullen als negatieven van film in traditionele analoge chemische fotografie. Specifiek, het negatief is niet direct bruikbaar als beeld, maar heeft alle informatie die nodig is om een beeld te maken. Het opslaan van foto’s in RAW-formaat van een camera zorgt voor een hoger dynamisch bereik en u kunt de instellingen, zoals witbalans veranderen, nadat de foto is genomen. De meeste professionele fotografen gebruiken RAW-formaat, omdat het hen maximale flexibiliteit biedt. Het nadeel is dat RAW beeldbestanden erg groot kunnen zijn.

We bevelen u aan om af te zien van archiveren in RAW-formaat (in tegenstelling tot het fotograferen in RAW-formaat, dat kunnen we aanraden). Er is niets goed aan opslaan van afbeeldingen in inheems RAW-formaat. Ze er er in vele variëteiten en allemaal bedrijfseigen. Het is ook tamelijk waarschijnlijk, dat na een paar jaar, u niet meer in staat bent uw oude RAW-bestanden te gebruiken. We hebben al gezien dat mensen van camera wisselden, hun kleurprofielen verliezen en grote moeite hebben om hun goed te werken met hun oude RAW-bestanden. We suggereren dat u in plaats daarvan te veranderen naar DNG-formaat.

DNG of Digital Negative bestandsformaat is een open RAW-afbeeldingsformaat, vrij van royalty’s en oorspronkelijk ontworpen door Adobe Systems. DNG was een reactie op de vraag naar een algemeen gebruikt Camera RAW-bestandsformaat. Het is gebaseerd op het TIFF/EP-formaat en verplicht het gebruik van metagegevens. Een handvol fabrikanten van camera’s hebben DNG al geadopteerd. Laten we hopen dat de belangrijkste spelers (Canon en Nikon) het op een dag ook zullen adopteren. Het Apple ProRAW formaat, beschikbaar sinds de iPhone 12 Pro Max, is gebaseerd op DNG.

digiKam levert een hulpmiddel om in bulk RAW naar DNG te converteren in Takenwachtrijbeheerder

We adviseren sterk om RAW-bestanden in DNG om te zetten voor archiveringsdoeleinden. Ondanks het feit dat DNG is gemaakt door Adobe, is het een open standaard en wordt op grote schaal omarmd door de open-source gemeenschap (die meestal een goede indicator is van de levensduur van een formaat). Sommige fabrikanten hebben al DNG RAW aangenomen als formaat. En last but not least, Adobe is de belangrijkste bron van grafische software vandaag, en ze ondersteunen natuurlijk hun eigen uitvinding. Het is een ideale archiveringsindeling. De ruwe sensorgegevens worden bewaard in TIFF-formaat in de DNG, het risico verminderend dat voortvloeit uit eigen RAW formaten wordt verminderd. Dit alles maakt overstappen naar een ander besturingssysteem niet moeilijk.

digiKam levert hulpmiddellen om in bulk RAW naar DNG te converteren tijdens downloaden uit de camera

XML voor Extensible Markup Language of RDF (Resource Description Framework). XML is net als HTML, maar waar HTML vooral bezig is met de presentatie van de gegevens, is XML bezig met de weergave van gegevens. Bovendien is XML niet-merkgebonden, besturingssysteem-onafhankelijk, vrij eenvoudig te interpreteren, tekst-gebaseerd en goedkoop. RDF is WC3’s oplossing voor het integreren van een grote verscheidenheid aan toepassingen zoals bibliotheekcatalogi, wereldwijde directories, nieuws feeds, software, alsmede verzamelingen van muziek, afbeeldingen en evenementen die XML gebruiken als een syntaxis voor uitwisseling. Tezamen bieden de specificaties een werkwijze die gebruik maakt van een lichtgewicht ontologie op basis van de Dublin Core die ook het “Semantic Web” (eenvoudige uitwisseling van kennis op het web) ondersteunt.

IPTC wordt XMP

Dat is waarschijnlijk een van de redenen waarom, rond 2001, Adobe haar op XML gebaseerde XMP technologie introduceerde om Image resource block technologie van de negentiger jaren te vervangen. XMP staat voor: Extensible Metadata Platform, een mengsel van XML en RDF. Het is een technologie voor labeling, die gebruikers toestaat gegevens over een bestand in het bestand zelf in te sluiten, de bestandsinfo wordt opgeslagen met de extensie *.xmp* (om het gebruik van XML/RDF aan te geven).

XMP: hoewel ODF voor altijd leesbaar zal zijn (omdat de tekst die het bevat in leesbare tekst is geschreven), zal XMP uw metagegevens behouden in een duidelijk te begrijpen XML-formaat. Hier geen gevaar van het later niet kunnen lezen. Het kan worden ingebed in de beeldbestanden of als afzonderlijke bijbehorende bestanden (dat Adobe Sidecar noemt, vertaald als Aanhangsel bestand). XMP kan gebruikt worden in PDF, JPEG, JPEG2000, GIF, PNG, HTML, TIFF, Adobe Illustrator, PSD, Postscript, Encapsulated Postscript en videobestanden. In JPEG-bestanden wordt XMP informatie gewoonlijk meegenomen naast Exif- en IPTC-gegevens.

digiKam kan XMP-inhoud van afbeeldingen en video’s tonen

Inbedden van metagegevens in de afbeeldingsbestanden maakt een eenvoudige uitwisseling en overdracht mogelijk van bestanden tussen producten, leveranciers, platforms, klanten, zonder dat metadata verloren gaan. De meest voorkomende metagegevens-tags opgenomen in XMP-gegevens zijn die van het Dublin Core Metadata Initiative, die zaken als titel, beschrijving, maker, enzovoorts bevatten. De standaard is ontworpen om uitbreidbaar te zijn, waardoor gebruikers hun eigen aangepaste soorten metagegevens kunnen toevoegen in de XMP-gegevens. XMP maakte het in het algemeen niet mogelijk om binaire soorten gegevens op te nemen. Dit betekent dat binaire gegevens die men wil uitvoeren in XMP, zoals miniaturen, moeten worden gecodeerd in een of ander XML-vriendelijk formaat, zoals Base-64.

Veel fotografen kiezen voor het bewaren van de originelen van hun opnamen voor hun archief (meestal in RAW). XMP zou daar goed in passen omdat het de metadata apart van de beeldbestanden bewaart. We zijn het daar niet mee eens. Er kunnen problemen ontstaan bij het koppelen van metadata en beeldbestanden. En zoals eerder gesteld, RAW formaten kunnen in onbruik raken. Ik adviseer om DNG te gebruiken als container en daar alle informatie in onder te brengen in een enkel bestand.

The Dublin Core Metadata Initiative is een open organisatie die zich bezig houdt met de ontwikkeling van standaarden voor online metagegevens die een breed bereik van toepassingen en business-modellen ondersteunen. DCMI’s bezigheden omvatten: werk aan architectuur en vorming, discussies en samenwerkingen in DCMI gemeenschappen en DCMI projectgroepen. Jaarlijkse conferenties en workshops, standaard samenwerking en opleidingspogingen om breed gedragen aanvaarding van standaard metagegevens en werkwijzen te promoten.

digiKam ondersteunt aanhangsel-bestanden met vele opties uit het instellingenpaneel

Bescherm uw gegevens

• Gebruik piekspanningbeveiliging (UL 1449 standaard) waar mogelijk gecombineerd met UPS.

• Gebruik ECC geheugen om geheugenfouten te corrigeren (zelfs bij gewoon opslag van bestanden).

• Houd uw harde schijf in het oog (temperatuur, geluid,..) en maak reservekopieën.

• Bewaar reservekopieën op een andere locatie, achter slot en grendel, gebruik web opslagruimte.

• Gebruik archiveringsmedia en branders.

• Raak niet in paniek bij verlies van gegevens, leg uw herstelplan voor aan een leek.

• Kies uw bestandssysteem, partities en mappen om gemakkelijk te kunnen uitbreiden.

• Gebruik open, niet merkgebonden standaards om uw beelden te organiseren en op te slaan.

• Voer iedere vijf jaar een herziening uit van uw techniek en migratiesysteem.