El almacenamiento de medios puede volverse confuso. Esta guía pretende ayudarte a optimizar el rendimiento, la redundancia y la seguridad.
Cuando se trata de discos duros y almacenamiento, es fácil sentirse abrumado. Los errores te pueden costar caro cuando tus datos están en riesgo. He compilado esta guía para ayudarte a navegar por el espacio del almacenamiento de medios con algunos conocimientos básicos. Este artículo versará sobre unidades externas conectadas directamente, matrices RAID de escritorio y matrices RAID internas. En esta publicación no hablaré sobre NAS ni redes.
¡Duplica tus datos!
Esto no habría ni que decirlo. Siempre duplica tus datos en al menos dos unidades físicas separadas. Esto comienza cuando se descargan las tarjetas de la cámara en el set y continúa con el almacenamiento que utilizas en postproducción.
Los archivos de proyecto suelen ser pequeños y se pueden respaldar fácilmente, incluso en la nube. Muchos otros tipos de archivos temporales pueden ser recreados, como archivos de caché NLE e incluso medios transcodificados. Es muy importante que siempre guardes más de una copia de tus originales de cámara.
En el set
Las unidades externas SSD pequeñas alimentadas por bus, o los discos duros, a menudo se usan en el set para descargar las tarjetas de la cámara a diario, y luego se pueden usar para transportar los medios de la cámara a un almacenamiento más grande o almacenamiento compartido dentro o fuera del sitio. En producciones más grandes, tu DIT también puede usar matrices RAID de conexión directa mucho más grandes en el lugar. Sea cual sea tu flujo de trabajo de datos en particular, es importante mantenerlos siempre duplicados en cada etapa del flujo de trabajo. Idealmente, un conjunto de medios de cámara duplicados debe mantenerse fuera del sitio, en una oficina de producción, en tus instalaciones de post, o incluso en tu casa.
Velocidad de transferencia en el set
En este punto, mencionaré un aspecto a menudo pasado por alto del flujo de trabajo de datos en el set al seleccionar discos duros externos. El tiempo en el set de filmación es crítico, y cuanto más rápido puedas descargar (idealmente para duplicar unidades simultáneamente), verificar y cambiar las tarjetas de la cámara, mejor. Los medios de la cámara son, por supuesto, muy rápidos, pero si usas discos duros externos baratos y lentos en una interfaz lenta, la descarga de las tarjetas es mucho más lenta de lo que debería ser. Un solo disco duro giratorio solo te proporcionará velocidades de lectura/escritura sostenidas de hasta 80 MB/seg. No hay nada peor que retrasar toda una producción esperando la transferencia de datos desde las tarjetas de la cámara. Intentar ahorrar un poco de dinero en discos duros aquí puede ser muy costoso para la producción general.
El Blackmagic Design MultiDock puede acomodar cuatro unidades SSD que se pueden configurar como una matriz RAID 0. Este es un RAID de software administrado por el sistema operativo host. Crédito de imagen: Jeff Loch
Post-producción
También es importante duplicar los medios de la cámara y los archivos críticos del proyecto durante la postproducción. Esto es importante incluso si estás utilizando almacenamiento compartido de alta gama configurado con un alto nivel de redundancia, y mucho más si estás utilizando un RAID de escritorio conectado directamente u otras unidades conectadas directamente para editar. Más allá del almacenamiento con el que estés trabajando, es importante mantener un duplicado de todos los medios de cámara en un segundo RAID de escritorio, o una unidad separada que se encuentre en un estante en algún lugar, o incluso fuera del sitio a menos que sea necesario.
Discos duros externos individuales
Los discos duros externos vienen en muchas versiones. No todos son iguales, y la unidad USB común que encuentras en tu tienda puede estar bien para hacer una copia de seguridad de tus fotos y documentos, pero no creo que sea adecuada para tu flujo de trabajo de video. Al elegir discos duros externos, es importante tener en cuenta qué tipo de disco tiene dentro y también qué tipo de interfaz tiene con el mundo exterior.
Un disco duro externo que tiene una interfaz rápida, como la conectividad Thunderbolt, aún puede tener un disco duro lento en su interior. Lo que realmente importa es la velocidad máxima de lectura y escritura del disco duro interno. Idealmente, deberías considerar el uso de unidades SSD externas para la mayoría de los trabajos de video, ya sea que estés descargando tarjetas de cámara en el set o utilizándolas para editar desde tu computadora portátil. Sin embargo, los SSD son más caros y ofrecen mucha menos capacidad. Dependiendo de la cantidad de datos que necesites, incluso un solo disco duro de 7200 RPM puede ser suficiente. La elección depende realmente de cómo piensas usarlo y con qué tipo de medios planeas trabajar.
Unidad de disco duro (HDD)
Las unidades de disco duro giratorio tradicionales han crecido rápidamente en capacidad en los últimos años, con discos duros individuales de 14 TB disponibles. Estos discos duros pueden tener desde 2 TB hasta 14 TB y vienen en tamaños físicos de 2.5″ y 3.5″. Los discos internos giran a 5200 RPM o 7200 RPM dependiendo de la unidad, y hay unidades de gama alta que giran a 15.000 RPM, pero estas no son las unidades que encontrarás dentro de un gabinete de disco duro típico. Puedes esperar velocidades de lectura/escritura sostenidas de alrededor de 80 MB/seg de un solo disco duro giratorio, por lo que el cuello de botella es el disco duro en sí más que la interfaz con tu computadora.
Un HDD externo WD Passport barato y común (izquierda) puede entregar un poco más de 110 MB/s a través de USB 2.0. (130 MB/seg según ellos) y solo proporciona un cable de tipo USB-A. El G-Drive Mobile (derecha) puede ofrecer un rendimiento similar a través de USB 3.0 y viene con cables adaptadores para conectores de tipo USB-A y USB-C. Crédito de imagen: Western Digital y G-Technology
Un disco duro de 5200 RPM normalmente puede mantener un promedio de 100-110 MB/seg de velocidad de lectura y escritura, mientras que un disco duro de 7200 RPM promediará 120-130 MB/seg.
Unidad de estado sólido (SSD)
Un SSD o unidad de estado sólido utiliza memoria flash NAND para almacenar datos y es capaz de un rendimiento de datos extremadamente alto. Un SSD externo USB 3 típico puede mantener más de 500 MB/s de lectura y escritura, e incluso esto está limitado por la interfaz SATA3.0 en lugar de la memoria en sí. Un SSD NVMe típico sobre una interfaz PCIe puede soportar más de 3000MB/seg. Las unidades SSD externas con una interfaz Thunderbolt admitirán hasta 2800 MB/seg.
El SSD móvil de G-Drive (izquierda) usa un conector USB-C y proporciona hasta 560 MB/s a través de USB 3.2 Gen 2. El SSD móvil de G-Drive Pro (derecha) también usa un conector de tipo USB-C pero proporciona hasta 2800 MB/seg sobre Thunderbolt 3. Crédito de imagen: G-Technology
SSD es la mejor opción para los profesionales de los medios porque estas velocidades de datos hacen que la descarga de datos de las tarjetas de la cámara sea mucho más rápida y permiten la reproducción en tiempo real de múltiples señales de medios de alta resolución desde unidades externas compactas y portátiles.
Interfaces
Muchos fabricantes de discos duros USB externos exageran engañosamente el rendimiento máximo de datos de los discos duros externos. Los consumidores no entienden los tecnicismos, y los números más grandes impresos en la caja deben ser mejores, ¿verdad?
La interfaz utilizada para conectar un disco duro externo con una computadora es tan importante como el tipo y la velocidad del disco interno. Dicho esto, las interfaces más comunes, siendo estas versiones de USB 3 y Thunderbolt, son lo suficientemente rápidas como para entregar una sola señal de los códecs y formatos de video más comunes, e incluso múltiples señales de muchos de ellos.
Se muestran los conectores de tipo USB más comunes actualmente. El USB Tipo A original es solo de referencia y ha sido ampliamente reemplazado por el USB Tipo A SuperSpeed. Muchos discos duros portátiles cuentan con el conector USB tipo Micro B SuperSpeed en el gabinete y un cable para USB tipo A SuperSpeed o USB tipo C.
USB 3.x
La convención de nomenclatura de USB se ha vuelto realmente desordenada. Aquí te ofrecemos el detalle.
- USB 3.2 Gen 1, es USB 3.0. Tiene un rendimiento máximo de 5 Gbps. Esto también se conoce como SuperSpeed USB.
- USB 3.2 Gen 2, es USB 3.1. Tiene un rendimiento máximo de 10 Gbps. Esto también se conoce como SuperSpeed USB 10Gbps.
- USB 3.2 Gen 2 × 2, es USB 3.2. Tiene un rendimiento máximo de 20 Gbps. Esto también se conoce como SuperSpeed USB 20Gbps.
También puedes oír hablar sobre USB en términos del tipo de conector. Los tipos de USB, como A, B y C, te indican la forma del puerto y el conector, pero no la velocidad de transferencia de datos.
USB-C es el último tipo de conector, y generalmente está asociado con USB 3.2 Gen 2, pero no necesariamente, también puede ser USB 3.2 Gen 1 o puede no ser USB en absoluto.
Thunderbolt 2 y 3
Para confundir aún más las cosas, el conector tipo USB-C también se usa para Thunderbolt 3. Thunderbolt 3 ofrece velocidades de transferencia de datos de hasta 40 GBps, que es cuatro veces mayor que la de USB 3.2 Gen 2.
- Thunderbolt 2 tiene un rendimiento máximo de 20 Gb/seg.
- Thunderbolt 3 tiene un rendimiento máximo de 40 Gb/seg.
Energía
Tanto el USB como el Thunderbolt pueden transportar energía, y muchos discos duros externos más pequeños pueden ser alimentados por bus, algo que debes tener en cuenta si necesitas usarlos con una computadora portátil sin conexión a la red eléctrica.
Ancho de banda de medios
Al considerar cualquier tipo de almacenamiento, lo primero que debes tener en cuenta es el ancho de banda de datos requerido para reproducir tus medios en tiempo real. Estos son solo algunos ejemplos, estas velocidades de datos son aproximadas solo para comparación.
- 4K XAVC (H.264) – 50MB/seg (MB no Mb/seg … 1MB = 8Mb)
- 4K 24p ProRes RAW – 40-100MB/seg
- 4K 24p ProRes RAW HQ – 80-140MB/seg
- 6K 24p ProRes RAW HQ – 180-300MB/seg
- 8K 24p ProRes RAW HQ – 320-530MB/seg
- 4K 24p ProRes 422 HQ – 95MB/seg
- 4K 24p ProRes 4444 – 140MB/seg
- 8K 24p R3D 5:1 – 260MB/seg
Está claro de esta lista que un disco duro externo USB3 5400RPM no admitirá la reproducción de la mayoría de estos formatos. Una excepción será casi cualquier video basado en H.264/AVC de cámaras sin espejo y réflex digitales populares. Las velocidades de datos requeridas para estos códecs son lo suficientemente bajas, incluso a una resolución de 4K, y tu disco duro no será el cuello de botella, pero puede que decodificar H.264 en tiempo real en tu computadora sí lo seas.
Esto no significa que no puedas usar un disco duro más lento simplemente para hacer una copia de seguridad de los archivos de tu cámara, solo significa que no podrás reproducir los videos directamente desde él.
RAID
¿Qué es exactamente un RAID? RAID significa Matriz Redundante de Discos Independientes (siglas en inglés). Es un volumen virtualizado mediante el cual los datos se escriben en una matriz de múltiples discos duros físicos para proporcionar redundancia en caso de falla de la unidad y/o un mayor rendimiento, generalmente ambas cosas.
El G-Drive es un ejemplo de un RAID pequeño y portátil de 2 bahías. Crédito de imagen: G-Technology
Un pequeño RAID externo portátil puede contener solo dos unidades de disco duro físicas, y esto se puede configurar para redundancia, donde los datos se duplican en ambas unidades internas, o para segmentar el rendimiento donde los datos se dividen y se escriben en ambas unidades simultáneamente permitiendo el doble de rendimiento de datos. Para un RAID de dos unidades, el rendimiento se da a expensas de la redundancia y viceversa. Sin embargo, a más cantidad de unidades de disco en la matriz RAID, más opciones tienes para balancear la redundancia con el rendimiento.
Las populares matrices RAID de escritorio Promise Pegasus32 vienen en diferentes tamaños de 4 a 8 bahías. Crédito de imagen: Promise
Las matrices RAID más grandes pueden venir en forma de gabinetes RAID montados en rack o de escritorio conectados directamente. También puedes construir una matriz RAID interna directamente en el chasis de una estación de trabajo y, por supuesto, hay servidores de almacenamiento RAID NAS (almacenamiento conectado en red) compartidos, sobre los que no hablaré en este artículo.
Cualquiera de estos podría tener entre cuatro, ocho, doce, dieciséis o más unidades en una matriz. Las matrices RAID SSD montadas en racks a menudo comprenden 24 SSD por matriz y tienen un ancho de banda extremadamente alto. También es posible dividir datos en múltiples matrices de varias maneras, sin embargo, esto está firmemente en el territorio de almacenamiento de altísima gama y más allá del alcance de este artículo.
Solo he mencionado los niveles de RAID a continuación que se aplican a los tipos de almacenamiento que describí anteriormente.
RAID 0
By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link
Máximo rendimiento, sin redundancia.
RAID 0 distribuye los datos de manera uniforme en todas las unidades físicas de la matriz, pero no tiene duplicación ni paridad. Esto significa que existen partes de un solo archivo en todas las unidades del conjunto, y si falla una unidad de la matriz, todos los datos se pierden para siempre. No hay recuperación de datos posible. RAID 0 es útil para pequeños gabinetes RAID externos de dos unidades donde la prioridad es aumentar el ancho de banda de lectura/escritura, y los datos también se duplican en otra unidad física.
Nunca recomendaría confiar en una única matriz configurada RAID 0 para el almacenamiento seguro de los medios de cámara.
RAID 1
By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link
RAID 1 simplemente refleja los datos entre dos unidades, pero no tiene paridad ni bandas. Esto proporciona redundancia total, pero en la mayoría de las implementaciones es tan rápido como una de las dos unidades.
Si una de las dos unidades falla, se puede reemplazar y se pueden reconstruir los datos de la unidad restante. Sin embargo, todos los datos están en riesgo hasta que se complete este proceso.
RAID 5
By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link
RAID 5 ofrece bandas de nivel de bloque, lo que aumenta el rendimiento y la paridad por el cual el contenido de cualquier disco individual también se distribuye entre los otros discos. Por ejemplo, en una matriz de ocho unidades configurada como RAID 5, la capacidad de almacenamiento total y el rendimiento serán iguales a siete de las ocho unidades. Si falla alguna de las unidades de la matriz, se puede quitar y se intercambia una nueva unidad de reemplazo en la matriz. El contenido de la unidad fallida se reconstruirá en la nueva unidad a partir de los datos de paridad existentes en las otras siete unidades.
Un repuesto dinámico se puede denotar en una matriz RAID 5, disminuyendo la capacidad utilizable y el rendimiento de la matriz en una unidad adicional, pero ofreciendo una reconstrucción inmediata en caso de falla de la unidad.
Los datos solo están en riesgo mientras dure la reconstrucción del disco de repuesto.
Todos los datos en la matriz se pierden permanentemente si falla más de una unidad a la vez, o si falla una segunda unidad durante la reconstrucción.
RAID 6
By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link
RAID 6 es similar a RAID 5 pero ofrece doble paridad distribuida. Usando el ejemplo de ocho unidades, la capacidad de almacenamiento y el rendimiento de la matriz será igual a seis de las ocho unidades. Pueden fallar dos unidades en la matriz y sus respectivos contenidos pueden reconstruirse a partir de los datos de paridad existentes en las seis unidades restantes.
La probabilidad de que fallen dos unidades se considera muy baja. Por lo tanto, la verdadera ventaja de RAID 6 es que los datos no están en riesgo en caso de una falla de una sola unidad.
¿Qué nivel de RAID debes usar?
Recomendaría configurar unidades RAID externas de dos discos portátiles como RAID 0 para un mayor rendimiento de datos. Estos siempre deben usarse en pares para descargar las tarjetas de la cámara, y son buenos para transportar todo un día de rodaje de medios de cámara para transferirlos al almacenamiento compartido o al almacenamiento RAID más grande que estás utilizando en post. También pueden ser buenas unidades para editar producciones más pequeñas directamente, pero en este caso los datos también deberían duplicarse en otro lugar. Siempre consideraría una unidad RAID 0 como almacenamiento temporal, no hay seguridad o redundancia incorporada a menos que esté reflejada.
Para matrices RAID de escritorio más grandes conectadas directamente, recomiendo RAID 5. Es un buen equilibrio de redundancia y rendimiento. Siempre debes conservar al menos un disco duro de repuesto para tu gabinete RAID en caso de que necesites cambiarlo. Una matriz RAID 5 seguirá siendo asequible y funcionará con una unidad fallida pero tus datos están en riesgo, es importante cambiar una unidad fallida y dejar que la matriz se reconstruya lo antes posible.
¡Duplica tus datos nuevamente!
Incluso si estás trabajando desde una matriz RAID 5 y tus medios están protegidos contra una falla de la unidad, aún debes tener tus medios de cámara y archivos de proyecto respaldados en otro almacenamiento. He creado matrices RAID anidadas para clientes donde dos conjuntos RAID idénticos se reflejan como RAID 1, pero incluso esto no cuenta como duplicación. Todavía está todo en un estante en una sala de máquinas, en el mismo edificio.
Los medios de cámara siempre deben duplicarse en un almacenamiento físico separado y mantenerse fuera del sitio si es posible.
Esto se llama recuperación ante desastres. Los desastres suceden.
Una nota rápida sobre la cinta LTO
Una excelente manera de almacenar datos críticos a largo plazo es en cinta LTO mediante el uso de una sola unidad LTO conectada directamente. Esto puede ser a través de un software de respaldo dedicado o usando LTFS para la transferencia directa de datos “arrastrando y soltando”.
Las unidades LTO portátiles mLogic son excelentes para realizar rápidamente copias de seguridad de grandes cantidades de datos de forma segura para archivado a largo plazo. Tienen conectividad Thunderbolt y también pueden ser utilizadas por los técnicos digitales DIT en locación. Crédito de imagen: mLogic
Una sola cinta LTO-8 puede almacenar 12 TB de medios y admite velocidades de hasta 300 MB/seg, dependiendo de la unidad. Cuando se almacenan correctamente, se puede esperar que los cartuchos de cinta LTO duren hasta 30 años. Esta es una vida útil mucho más larga que cualquier disco duro mecánico. Los cartuchos de cinta LTO actuales seguirán siendo compatibles con versiones anteriores en unidades futuras de hasta una generación. Por lo tanto, un cartucho LTO-8 actual podrá leerse y escribirse en una unidad LTO-9.
La Nube
El almacenamiento en la nube aún no es muy práctico para grandes cantidades de medios de cámara de alta resolución. Sin embargo, es bueno para archivos de proyecto más pequeños, ciertos otros archivos de medios e incluso copias de seguridad de bases de datos de Resolve.
Sistemas de Archivos
Todo lo que he discutido hasta ahora es sobre hardware físico. También es importante formatear tu almacenamiento con el sistema de archivos adecuado a tus necesidades. Un sistema de archivos describe cómo los datos son almacenados, direccionados, administrados y accedidos en tu almacenamiento físico, por un sistema operativo y software de computadora.
Aquí hay un resumen de algunos sistemas de archivos comunes.
ExFAT
ExFAT es un sistema de archivos de Microsoft creado para cerrar la brecha entre NTFS y el sistema de archivos FAT32 anterior. Puedes almacenar archivos individuales de más de 4 GB y es el único sistema de archivos que enumero aquí que es compatible de forma nativa con Windows y macOS.
Sin embargo, ExFAT es un sistema de archivos de registro por diario y corre riesgo de corrupción cuando se interrumpen las operaciones de escritura. No recomendaría ExFAT para unidades de medios, con la excepción quizás de unidades de transporte muy temporarias que se utilicen para guardar datos durante un corto período de tiempo que deben compartirse fácilmente entre máquinas macOS y Windows. Incluso entonces existe el riesgo de que estas unidades no se expulsen de forma segura o se expulsen durante la transferencia de datos.
NTFS
NTFS es un sistema de archivos de registro por diario creado por Microsoft que es mucho más seguro y menos susceptible a la corrupción, incluso en el caso de apagones inesperados, bloqueos e interrupciones.
MacOS puede leer NTFS, pero el acceso de escritura en volúmenes formateados NTFS requiere un software de terceros como Paragon NTFS para Mac.
MacOS Extended
MacOS Extended también se conoce como HFS + y fue el sistema de archivos estándar utilizado por macOS desde 1998 hasta hoy para discos duros mecánicos e híbridos, y hasta la introducción de APFS para almacenamiento de estado sólido y flash en High Sierra.
APFS
APFS ha reemplazado MacOS Extended por estado sólido y almacenamiento flash. También funcionará en discos duros mecánicos, pero está optimizado para medios de estado sólido. APFS no es compatible con Macs antiguas que ejecuten El Capitan o versiones anteriores.
¿Qué sistema de archivos debes usar?
Tus mejores opciones de sistema de archivos son NTFS si operas principalmente en un entorno Windows, y macOS Extended o APFS es tu flujo de trabajo basado principalmente en Mac.
Si estás formateando discos duros mecánicos y matrices RAID, es mejor elegir NTFS o MacOS Extended. Estos sistemas de archivos por diario son robustos y seguros.
Para los medios SSD, puedes elegir NTFS o APFS dependiendo de si trabajas principalmente en un entorno Windows o Mac. Hay disponibles software de terceros que permiten a Windows montar y leer/escribir en medios formateados APFS, así como montar medios NTFS en Mac.
Evita usar ExFAT en todos los casos para evitar riesgos de que tus datos se corrompan.
Conclusión
Habiendo dicho todo esto, lo más importante para recordar es duplicar siempre los archivos de tu proyecto y los medios de cámara originales. Las transcodificaciones pueden volver a codificarse, los archivos de caché pueden regenerarse, las exportaciones y los renderizados pueden generarse nuevamente. Estas cosas pueden costarte tiempo, pero si pierdes los archivos originales de cámara, lo habrás perdido todo.
Incluso si sigues todas las recomendaciones y las mejores prácticas, el hecho es que las unidades e incluso las matrices RAID completas pueden fallar. Puedes utilizar tu almacenamiento más rápido y costoso para trabajar, pero tener una copia de seguridad (o incluso una copia de seguridad de una copia de seguridad) en uno o más discos duros externos baratos para consumidores puede ser suficiente para rescatar un proyecto.
Espero que esto ayude a algunos de ustedes a considerar o reconsiderar su flujo de trabajo. Me encantaría saber qué consejos y trucos tienes que pueda haber pasado por alto o subestimado. ¿Cómo gestionas tus medios y mantienes tus archivos seguros? Cuéntanos en los comentarios a continuación.
