Pourquoi les caméras ne prennent-elles pas en charge les systèmes de fichiers journalisés?

comme NTFS, HFS + ou ext4, pour les cartes SD? Après tout, la journalisation diminue les risques de perte de données, ce qui serait important pour les photographes. J'ai perdu une carte SD contenant peut-être un millier de photos à Bali - un endroit que je n'ai pas eu l'occasion de visiter avant ou depuis.

Y a-t-il des précautions à prendre avant un prochain voyage? Formater les cartes à huis clos?

Ai-je raison de comprendre que SDXC (exFAT) et Sony Memory Stick n'offrent pas plus de fiabilité que les cartes SD?

Faisons une petite analyse coûts-avantages:

1. Un système de fichiers journalisé est plus compliqué - cela signifie un temps de développement plus long, plus de bogues, plus de consommation d'énergie de la batterie, un coût de production plus élevé, etc.

2. le problème résolu par un système de fichiers journalisé - données FS corrompues mais données de fichier intactes - est plutôt bien géré par les outils de récupération de données tiers.

3. Le système de fichiers journalisé ne résout pas tous les problèmes, vous avez vraiment besoin de bonnes sauvegardes - et non seulement il existe des systèmes avec des sauvegardes intégrées (deux emplacements pour cartes), c'est une fonctionnalité qui permet aux professionnels d'obtenir des caméras plus chères.

4. il n'y a pas de grande crise de fiabilité des cartes mémoire, ces cartes sont assez fiables et les pannes sont relativement rares.

5. et enfin, aucun système de fichiers journalisé n'est pris en charge prêt à l'emploi sur Windows et Mac.

Donc - si vous étiez le chef de produit en charge, approuveriez-vous un projet qui 1. résout un problème déjà résolu (avec des outils tiers) de manière incomplète, 2. n'est pas assez important pour être un argument de vente et 3. fera une partie importante du marché incapable d'utiliser l'appareil photo (au moins sans installer de logiciel supplémentaire dont ils n'auront pas besoin avec les marques concurrentes)?

Les systèmes de fichiers journalisés garantissent uniquement l'intégrité du système de fichiers. Si une carte échoue vraiment, elle échoue avec tout le système de fichiers. Maintenant, si vous avez de mauvaises cellules de mémoire, vous n'utiliseriez que la photo occupant cet espace et un système de fichiers journalisé ne serait pas utile non plus. En d'autres termes, ce n'est pas la bonne solution à l'incident que vous décrivez.

La vraie solution est la redondance, c'est pourquoi vous trouverez des offres haut de gamme de Nikon, Pentax et Canon qui offrent deux emplacements pour carte mémoire et la possibilité d'écrire des images sur les deux cartes à la fois. Cela vous donne une sauvegarde instantanée. Si ces caméras ne vous conviennent pas, vous devez trouver un autre moyen d'effectuer des sauvegardes fréquentes. Certaines personnes le font quotidiennement sur un ordinateur portable, un lecteur portable, un disque optique.

Bien que je n'aie pas encore essayé et que je ne sais pas dans quelle mesure c'est pratique, vous pouvez également utiliser un appareil ou une carte WiFi (SD / SDHC uniquement AFAIK) qui envoie automatiquement vos images lorsqu'elles sont capturées vers un autre appareil en réseau, peut-être une tablette ou quelque chose avec un bon stockage.

Alors que SDXC est fourni au format exFAT par défaut, vous pouvez également le formater vous-même en FAT32. La plupart des caméras l'accepteront dans les deux sens. La différence de fiabilité est cependant probablement nulle.

Autant que je sache, tous les appareils photo numériques produits pour être vendus sur le marché de détail intègrent la règle de conception pour Camera File System (DCF) . Une partie de la norme DCF est que le système de fichiers FAT doit être utilisé par des appareils conformes. Cette norme a été adoptée comme norme de facto pour le stockage d'images numériques et de fichiers audio dans des dispositifs de mémoire par l'industrie de l'appareil photo numérique afin d'assurer l'interopérabilité d'une marque à l'autre.

Voir /photo//a/46387/15871 pour plus d'informations sur DCF.

Cela revient à résoudre "y a-t-il un marché?" et "quels sont les obstacles à l'adoption?". Chacun de ces éléments représente un énorme obstacle à l'adoption même si cela en valait la peine.

NTFS entraînerait des coûts de licence même s'il existe même une bibliothèque appropriée pour les processeurs de l'appareil photo (ce qui n'est pas garanti) et la prise en charge en dehors de Windows serait inégale. Bien que HFS + et ext4 n'aient pas de support natif dans Windows, ce qui élimine une grande partie de la base de clients potentiels. Il n'y a donc pas de marché pour ceux-là.

Comme vous le mentionnez, exFAT est requis par la norme SCXD , vous verrez donc que la prise en charge de cartes plus grandes et plus rapides apparaît, mais ce n'est pas aussi simple que cela, car plus de code est également plus à se tromper, et avec des systèmes embarqués comme des caméras, vous ne veulent vraiment pas pousser les mises à jour du firmware, alors attendez-vous à ce que, même si les écritures sur une carte exFAT soient lisibles et au bon format, elles n'utilisent en fait aucune des fonctionnalités exFAT qui pourraient offrir une protection. Il existe donc également d'importants obstacles à l'adoption.

Le mode de défaillance de la plupart des cartes est aussi susceptible d'être le contrôleur qu'une cellule mémoire, c'est beaucoup de travail (coût de fabrication) pour peu d'avantages.

Sony MS (MemoryStick) est toujours une mémoire flash SLC ou MLC, c'est juste le contrôleur et la connexion physique qui diffèrent entre les systèmes. Votre meilleure protection dans la situation que vous avez connue est d'emporter avec vous un petit appareil de sauvegarde portable, ils sont de poche et relativement peu coûteux (et probablement incompatibles avec les systèmes de fichiers journalisés également.)

Une raison évidente: parce qu'un système de fichiers de journalisation sur un appareil photo n'aurait probablement pas aidé (ni personne).

Pour un aperçu de très haut niveau, voici ce que fait un système de fichiers de journalisation: Avant chaque écriture dans les métadonnées (ou les données, si elles sont également journalisées), écrivez d'abord ce que vous allez modifier dans le journal. Une fois que vous êtes sûr que c'est sur le disque, allez-y et écrivez la modification. Fondamentalement, cela signifie que si l'alimentation est interrompue pendant l'écriture, vous pouvez récupérer le système de fichiers en utilisant le journal - vous allez de l'avant et effectuez toutes les actions dans le journal.

Cela est utile sur un ordinateur de bureau, où l'alimentation peut être coupée, ou l'utilisateur peut appuyer sur le bouton de réinitialisation, ou débrancher la prise, etc. Également précieux, mais moins, sur les serveurs (panne de courant) et les ordinateurs portables (bouton de réinitialisation) .

Un appareil photo est alimenté par batterie. Il a un interrupteur d'arrêt, mais cela indique normalement au micrologiciel de l'éteindre - ce n'est pas une déconnexion d'alimentation physique. Il n'y a généralement pas de bouton de réinitialisation ou, le cas échéant, il n'est pratiquement jamais utilisé. Ainsi, vous n'avez pas besoin de journalisation, le firmware peut simplement terminer l'écriture. La seule exception serait si vous retiriez physiquement la batterie. Peut-être que cela se produirait avec un bloc d'alimentation externe, mais à part cela, une caméra ne devrait jamais subir un arrêt impur.

De plus, presque aucun périphérique flash ne gère bien les pannes de courant inattendues. Mettez-les au milieu d'une relocalisation du secteur (nivellement de l'usure), et tous les paris sont désactivés. Donc, même si vous aviez un système de fichiers de journalisation, vous ne seriez toujours pas à l'abri d'une panne de courant.

Un système de fichiers de journalisation ne pas vous protéger contre:

• Bogues dans le contrôleur flash de la carte SD, etc.
• Bogues dans le matériel hôte SD de la caméra
• Bogues dans le code du système de fichiers sur la caméra
• Bogues dans les pilotes SD du firmware
• Perte de secteurs sur les médias
• Dysfonctionnement matériel (par exemple, dû aux rayons cosmiques, aux décharges statiques, au bruit électromagnétique, à l'eau, ...)

En fait, un système de fichiers journalisé est plus compliqué , vous êtes donc plus susceptible d'avoir des bogues dans le système de fichiers. Il amplifie les écritures, vous êtes donc plus susceptible de toucher le contrôleur flash ou les bogues de l'hôte SD. Et vous allez épuiser le flash un peu plus tôt.

Les systèmes de fichiers journalisés sont mauvais pour les cartes SD (ou tout appareil Flash NAND).

Les opérations d'écriture sont coûteuses pour les périphériques Flash NAND et les systèmes de fichiers journalisés ont tendance à écrire plus que les systèmes de fichiers non journalisés pour les mêmes activités.

Ainsi, la carte SD fonctionnera plus lentement et durera moins avec un système de fichiers journalisé.

Le stockage basé sur FLASH, à son cœur, utilise une technologie appelée NAND FLASH. NAND FLASH est lisible et inscriptible, mais avec plusieurs rides.

1. L'unité fondamentale de lecture / écriture est une "page", pas un secteur. Les appareils FLASH de la génération 2007-2008 ont une taille de page 2K, la migration vers une taille de page 4K dans la génération 2009 et des tailles de page 16K ont été observées dans les générations 2011.

2. Vous ne pouvez pas écrire une page à tout moment - avant de l'écrire, vous devez d'abord l'effacer. Mais vous ne pouvez pas effacer une seule page à la fois - vous devez effacer un "bloc d'effacement" entier de (typiquement) 64 pages consécutives (128 Ko ou 256 Ko selon la génération). Et après avoir effacé le bloc, vous ne pouvez pas écrire sur les pages dans un ordre arbitraire, vous devez les écrire séquentiellement en commençant par la première.

3. Les blocs ont tendance à s'user avec le temps. Après un certain nombre de cycles d'effacement, un bloc "va mal" en permanence, de sorte qu'il ne contiendra plus de manière fiable les données. Les pages peuvent également développer des erreurs de données à la suite de l'activité d'écriture sur d'autres pages, et même à la suite de lectures!

http://wiki.laptop.org/go/How_to_Damage_a_FLASH_Storage_Device

Edit: Il convient de mentionner que les systèmes de fichiers journalisés n'apporteront pas d'avantage significatif par rapport aux systèmes de fichiers non journalisés.

• Les systèmes de fichiers de journalisation garantissent-ils la corruption après une panne de courant?

Différents systèmes de fichiers nécessitent une quantité différente de RAM dans un système qui les utilise. Un système qui a besoin d'écrire un fichier dans un système de fichiers FAT pourrait en théorie se débrouiller avec un seul tampon de 512 octets, bien que les performances soient assez terribles. Une extension à deux ou trois tampons de 512 octets améliorerait considérablement les choses. Aller au-delà améliorerait les choses un peu plus, et obtenir des performances optimales d'une carte plus grande nécessiterait plus de mémoire que d'obtenir des performances optimales d'une plus petite, mais un appareil photo qui ne comportait que suffisamment de tampons pour atteindre une efficacité optimale avec des cartes plus petites serait toujours en mesure de travailler avec des plus gros, même si moins efficacement.

Un problème plus délicat concerne le fait que les normes de carte mémoire spécifient que chaque carte se comporte comme une collection numérotée de secteur de 512 octets qui peut être lue et écrite indépendamment dans une séquence arbitraire, mais ce n'est pas ainsi que les données sont stockées sur les puces dans le cartes. Les puces mémoire utilisées dans une carte mémoire typique sont divisées en pages de 528 octets; ceux-ci à leur tour sont regroupés en blocs de 256 ou plus. Une fois qu'une page est écrite, elle ne peut pas être réécrite sans l'effacer et toutes les autres pages de son bloc. En théorie, il serait possible pour une carte SD d'honorer une demande d'écriture d'un secteur de 512 octets en copiant dans la RAM toutes les données de son bloc, en effaçant le bloc et en réécrivant tout le bloc mais avec de nouvelles données dans un secteur . En pratique, les performances seraient terribles. Au lieu, l'écriture d'un secteur amènera la carte SD à choisir une page vierge, à y écrire les données avec son numéro de secteur et diverses informations auxiliaires (la raison pour laquelle les pages sont de 528 octets plutôt que 512), et en quelque sorte garder une trace de l'emplacement approprié pour les données. Lorsque les pages vierges deviennent rares, le contrôleur identifie un bloc dont les pages ont été principalement remplacées par des pages écrites plus récemment, copie toutes les pages encore actuelles de ce bloc dans des blocs vides, puis efface tout le bloc désormais redondant . Toute cette logique est entièrement gérée par la carte elle-même, sans aucune intervention de la caméra. Lorsque les pages vierges deviennent rares, le contrôleur identifie un bloc dont les pages ont été principalement remplacées par des pages écrites plus récemment, copie toutes les pages encore actuelles de ce bloc dans des blocs vides, puis efface tout le bloc désormais redondant . Toute cette logique est entièrement gérée par la carte elle-même, sans aucune intervention de la caméra. Lorsque les pages vierges deviennent rares, le contrôleur identifie un bloc dont les pages ont été principalement remplacées par des pages écrites plus récemment, copie toutes les pages encore actuelles de ce bloc dans des blocs vides, puis efface tout le bloc désormais redondant . Toute cette logique est entièrement gérée par la carte elle-même, sans aucune intervention de la caméra.

Toute cette logique signifie qu'en plus du FAT32 ou d'un autre système de fichiers vu par la caméra, la carte SD devra avoir son propre système d'allocation et de gestion des blocs. Tous les problèmes qui surviennent dans ce système sont susceptibles d'entraîner une perte de données, quel que soit le type de système qui s'y trouve. En théorie, de nombreuses cartes mémoire sont conçues pour garantir que même si l'alimentation est coupée de manière inattendue pendant une opération, la carte pourra soit ramener l'état de la carte à ce qu'il était avant le début de l'opération, soit l'exécuter jusqu'à la fin ( si toutes les données nécessaires avaient été écrites et que la carte nettoyait simplement les données redondantes). Malheureusement, les cartes diffèrent dans la façon dont elles implémentent une telle logique. Si une coupure de courant inattendue frappe les tables de gestion du stockage d'une carte,

Personnellement, je pense qu'il aurait été préférable pour le SD Consortium de spécifier un système de fichiers indépendant de FAT32, ou au minimum de spécifier que même si une carte devait être lisible en tant que volume FAT32, elle devrait être écrite en utilisant une communication basée sur des fichiers protocole. Une carte qui sait quels groupes de secteurs sont membres de chaque fichier pourrait optimiser ses routines de défragmentation autour de cela, et pourrait également mieux protéger contre la perte de données que celle qui devait présenter le disque comme un tas de 512 octets indépendants secteurs, mais pour le meilleur ou pour le pire, ce n'est pas ainsi que les choses sont spécifiées.

En supposant que la carte était simplement corrompue et que vous ne l'avez pas lancée ou écrasée, je vous suggère fortement d'essayer PhotoRec. (Cela m'a sorti d'une situation un peu moins mauvaise il y a quelques mois. Il a même trouvé que quelques images qui avaient survécu avaient été supprimées pendant un an ou deux.)

http://www.cgsecurity.org/wiki/PhotoRec

Concernant une journalisation FS, j'ai eu la même question plusieurs fois. Comme d'autres l'ont dit, les supports flash actuels sont en fait fragiles par rapport aux supports magnétiques, et la journalisation est difficile pour eux. Étant donné que le modèle d'utilisation des appareils photo consiste généralement à prendre un tas de photos, à les lire, puis à les supprimer toutes, les fonctionnalités avancées de FS ne sont pas nécessaires. Des implémentations simples et testées sont probablement plus importantes que l'avantage marginal de la journalisation. Comme avantage supplémentaire, la stratégie d'allocation muette de FAT facilite l'utilisation d'outils comme PhotoRec.

1, Dieu ne peut pas vous sauver si vous avez physiquement perdu la carte. Que voulez-vous dire que vous avez perdu une carte à Bali?

2, les FS journalisés sont conçus pour des situations telles qu'une panne de système d'exploitation soudaine ou une panne de courant soudaine. Ils gardent les métadonnées FS cohérentes lorsque ces mauvaises choses se produisent. Ils ne vous aident pas si vous souhaitez que vos fichiers supprimés reviennent.

3, Bad-block est le problème le plus vital des stockages basés sur NAND FLASH. Des blocs défectueux apparaissent lorsque des écritures se produisent. Par conséquent, lorsque vous choisissez FS pour un stockage NAND FLASH, la fréquence d'écriture est la première chose à considérer. Évidemment, comme tous les autres l'ont dit, les FS journalisés apportent plus de choses à écrire.

4, les FS journalisés prennent plus de pouvoir, bien sûr. Plus compliqué, bien sûr. Mais ce ne sont pas les raisons dominantes pour lesquelles nous ne les adoptons pas pour NAND FLASH, je pense.

TADA ~~ C'est ça.

Le système de fichiers lui-même n'a pas besoin d'être complexe car les images sont simplement écrites sur la carte, il n'y a pratiquement pas de modifications apportées à un fichier après la création initiale et il n'y a pas de problèmes d'E / S de fichiers simultanés qui doivent être inquiétés sur l'appareil photo.

Les problèmes d'intégrité des données sont en fait résolus au niveau matériel car TOUTE la mémoire flash est intrinsèquement instable. Le contrôleur de la carte SD effectue un grand nombre de ses propres vérifications et astuces de stockage pour garantir la validité des données. Un système de fichiers de journalisation n'aiderait en rien car il traite de l'intégrité du stockage des données plutôt que de l'intégrité des opérations sur les fichiers.

Une caméra utilise des opérations de fichiers si simples (et à grande vitesse), qu'un système de fichiers complexe entraînerait des coûts et une complexité supplémentaires, entraînant des E / S plus lentes et potentiellement introduisant d'autres bogues qui pourraient entraîner une perte de données en raison d'une gestion de fichiers plus complexe, tout en n'étant pas gagner quoi que ce soit d'utile à un appareil photo.