周边漫谈 天文摄影中的存储
本帖最后由 探栓怪 于 2023-5-4 19:30 编辑文：探栓怪随着最近几年业余天文的普及，可供玩家选择的天文器材也是日新月异。相比于由光学和机械结构组成的望远镜，作为电子产品的拍摄终端发展速度更快，毕竟现在很多爱好者使用的望远镜依然是上百年前的经典结构——牛反、道布森、施卡等等，而2001年出生的柯达全画幅黑白ccd却早已埋入历史的长河，被cmos相机全面替代。在天文摄影发展的历史中，有一种拍摄行星及日月面的方法逐渐为大多数爱好者所用：通过录制一段视频然后进行筛选叠加的方式，选出视宁度最好的瞬间，也就是我们所熟知的“幸运成像法”。这种方法利用的是cmos相机可以边读取边拍摄的特性，无须像ccd那样一张照片等待许久，可以在短时间内获取大量照片，从而具备筛选的基础条件。早期的行星相机通过USB2.0接口向计算机传输数据，速度相对较慢。在2016-2018年， IMX174，178，224等新型cmos芯片的出现，让天文相机进行了一轮大提速——通讯接口从USB2.0提升到USB3.0，带宽几乎是提高了10倍之多，这就使得相机可以在短时间内拍摄更多照片，从而提高拍摄效率。然而在那个特殊的时间节点，计算机存储市场进入缺货涨价周期，青黄不接，可以说是黎明前的黑暗。经过了2021年的硬盘挖矿风潮之后，大量挖矿硬盘涌入二手市场导致存储价格下跌。随后国产崛起，长鑫内存和长江存储让国产存储性价比进一步提高，计算机市场全面普及固态硬盘，我想是时候来聊一聊这个和天文看上去沾一点边，实则密切相关的话题了。对计算机基本知识有一定了解的朋友可以直接跳到最后总结部分。
内存这里的内存并不是指“手机内存”，而是“运行缓存”，或者是电脑上面的“内存条”——DRAM。它是一种速度非常快的存储器，但是缺点是无法断电存储，一旦关机就会丢失数据。内存的容量一般不大，它主要用于加载开机后操作系统和正在使用的应用程序部分的数据，程序员在编写程序的时候会根据实际情况来判断哪些文件需要高频率使用、随叫随到，就会让内存加载这些文件。例如，我们用天文摄影常用的叠加软件AutoStakkert3.0对一段视频进行处理操作，控制台中“memory buffering”选项就是让内存去加载视频文件，后续所有的读取和处理过程都在内存中进行。这样做的好处是可以加快任务的完成速度，预览的时候也有更低的延迟，缺点是对内存容量占用很大，单个视频文件大小一旦超过10GB就有可能挤占其他应用甚至是操作系统的内存空间，产生适得其反的效果。勾选之后就可以让内存参与处理缓存加速，前提是内存容量大于视频文件大小。完全吞下一个大文件的AS占用内存非常恐怖。
早年许多笔记本电脑的内存在4-8GB不等，如今新的高性能台式电脑已经是16GB标配。一般来说，8GB内存是廉价配置的底线，16GB可以应付大多数场景，32甚至是64GB内存就可以肆无忌惮向AS加载大型视频文件，或者是在Photoshop中叠加多个图层也毫无压力。内存还有不同频率与时序、DDR4与DDR5之分，但是这些对于天文后期处理几乎没有什么影响，容量与价格是最优先考虑的因素。我个人推荐DDR4 3200-c16或者DDR4 3600-c18 的内存，32GB价格在400-500元不等，足以满足需求。
硬盘硬盘可以永久保存数据，即断电以后再开机依旧可以读取。2000年代初期的硬盘都是一个3.5英寸的大铁盒子，里面的电机转动起来带着整个机箱嗡嗡响，它里面有一个磁臂以及带有磁粉的碟片结构，叫做机械硬盘。和它同年代的还有各种软盘、U盘甚至是存储卡，这些东西也可以被叫做广义上的硬盘，但是它们的容量都太小，最多存一些文档文件，对于大型游戏或操作系统则无能为力；光盘虽然也为我的童年带来了许多乐趣，但是它只能读取的特性让用户很难储存他自己产生的数据——刻录光盘的速度只能用龟爬来形容，而且一旦刻录完成就无法删除或重新再写入，家庭刻录场景一般只用于永久保存家人或聚会照片使用。大约在2010年前，民用级最快的存储设备只有机械硬盘，速度大约为100MB/s，在那之后出现了一种新型硬盘，其原理像是一个超大号的U盘，内部集成了许多封装好的黑色芯片，叫做固态硬盘（Solid State Drive，SSD）。早期的固态硬盘容量非常小，性能相比于机械硬盘强的有限，很长一段时间内都处于小众化、鲜有问津的状态，这种窘境终于在2016-2017年迎来了重大转折。在这之前生产的笔记本电脑和主板，仍然使用着纯机械硬盘的模式，过渡期短暂地出现过小容量固态硬盘装系统+大容量机械硬盘装软件的性价比配置，2019年之后就有很多纯固态硬盘方案了。今天的固态硬盘容量越来越大，价格却越来越低，未来哪天完全取代机械硬盘也不是没有可能，一切变化之快只用了几年时间，可见固态硬盘在市场上的认可度之高。
硬盘的尺寸、接口与协议大容量机械硬盘仍然保持着它原有的“大盒子”3.5英寸结构，许多小容量硬盘也早已可以容纳到2.5英寸以内，以适应笔记本和移动硬盘等狭小空间。机械硬盘使用ACHI协议以及SATA串口，移动硬盘的USB则是靠一块额外的电路板提供电能和转换信号。固态硬盘在发展初期没有自己的接口和协议，为了兼容旧电脑只能设计成和机械硬盘一样的外形，但是芯片的尺寸比磁盘小很多，只需要2.5英寸即可。这种造型的固态硬盘时至今日依然在产，老电脑升级固态硬盘，同价格产生的使用体验远高于升级其他配件。随着固态硬盘发展，读写速度越来越快，原有的SATA接口上限600MB/s的速度不够用了，因为它本来就是为机械硬盘而设计出的，机械硬盘至今无法突破350MB/s，没有够到接口的上限！固态硬盘开始走向一条独立发展的道路。在经历了一段黑暗的七国之战（协议、接口、长度全都乱七八糟）后，如今的固态硬盘届秦始皇只剩下一个“造型”——M.2 2280 NVMe硬盘（M.2接口、22x80mm尺寸、NVM express协议、PCIe通道），佐以高速大容量的2.5寸U.2形态，兼容老电脑的2.5寸 SATA形态，共同形成了固态硬盘世界的三足鼎立。M.2接口进一步缩小了固态硬盘的体积，使SSD占用的体积仅有原先的三分之一不到，重量10克以内，而速度可以去到3500甚至7000+MB/s，充分发挥高性能优势。 3.5寸机械硬盘与2.5寸SATA固态硬盘、M.2 2280 NVMe固态硬盘大小对比这是一块U.2固态硬盘，它的形态为2.5英寸，区别在于厚度以及接口。M.2硬盘受制于体积无法拥有多闪存颗粒（大容量），这块硬盘轻松达到接近8TB，同时拥有和M.2一样的速度，可谓两全其美，唯一不足的是价格也很劲爆。速度的重要性高速天文摄影会产生多少数据？以178M芯片为例，它有629万像素，最多可以在16bit位深状态下输出30fps的视频，数据格式是未经过任何压缩的RAW，每一个像素的亮度值都会完整的被保存下来。以计算机二进制来计算，每一秒视频文件的大小是：16bit*6290000pixel*30(frame/s)/(8bit/Byte)/(1024Byte/KB)/(1024MB/KB)=360MB/s，每一帧的大小为12MB左右，和实际拍摄完全吻合。这个写入速度是机械硬盘承受不了的，要么采用8bit残血位宽输出，使得文件大小减半，或者使用裁切、减小帧率的方式让相机减速到硬盘能够接受的程度。反之，如果使用178C输出彩色文件，RGB三通道的加入会让数据流瞬间变为3倍，我们可以命令彩色相机输出未经过Debayer的黑白RAW文件，在后期的时候才进行转色，达到减小数据压力的功效。2016年初许多人（包括我）的笔记本电脑无法满帧运行174/178的最重要原因在于当时没有大面积普及固态硬盘，很多人的机械硬盘只有100MB的写入速度，即便是残血输出依旧需要裁切或者限制帧率，最终只能得到三分之一的性能。
固态硬盘之殇
机械硬盘本不适合长期移动使用，因为它的磁头和转盘很容易受到外力碰撞而损坏，这一点我深有体会，长期户外拍星的恶劣环境对机械硬盘几乎是致命的。在经历过无数次卡顿、硬盘损坏返修又损坏，丢失拍摄资料的痛苦经历后，我在2017年下旬花大价钱更换了固态硬盘。起初SSD给我的印象非常好，无论是开机办公还是游戏加载都快了许多，除了容量小一些以外没有什么明显缺点。SSD的芯片不怕轻微震动，站着坐着躺着都不受影响，拍摄电脑再也没有死机崩溃过了。我的第一块固态硬盘，2017年10月购买，256G价格超过700元。相同价格如今可以买到2T甚至接近3T容量，性价比相对于原先高了10倍之多然而看似美好的固态硬盘又给我带来了新的困扰：开始拍摄以前我能够获得满帧满血性能，在拍摄一段时间、硬盘空间逐渐被占用以后，它就又出现了机械硬盘一样的问题，掉帧。此时暂停拍摄一段时间又重新开始，它又会回到满血性能，然后过不了多久又掉帧。这种现象在机械硬盘身上是不曾出现的，机械硬盘只是速度上限不行，但速度本身没有太大变化。固态硬盘的掉速特性和它的价格是一把双刃剑，不能两全其美。在此之前固态硬盘价格居高不下、容量却捉襟见肘的原因在于：存储密度实在是太低了。每个闪存微单元只有1bit数据，这种SSD称为SLC；随着科技发展，每个闪存单元可以存储2个或3bit的数据，对应称呼为MLC和TLC，存储容量也随之立刻翻倍，但TLC的电压复杂，读写需要花费更多时间，导致固态硬盘性能变得十分羸弱，于是厂家发明了一种新的套路——模拟SLC策略。1TB的TLC硬盘所拥有的存储单元和333GB的SLC相当，将数据写入TLC硬盘时，可以先将这些存储单元视为SLC，每个单元只写入1bit数据，此时用户体验到的是SLC的性能；等到写入操作完毕，硬盘进入空闲状态时，在后台偷偷把SLC单元的数据压缩成TLC单元，用户享受到的是TLC的容量，两全其美。但是如果写入超过333GB的文件呢？硬盘依然傻傻的以为它能够两全其美，结果直到单元被全部填充为SLC时，任务还未停止，此时SSD只能硬着头皮临场上阵，赶紧把SLC压缩腾挪出空间供继续写入文件，这时就会产生明显的掉速现象。如今固态硬盘市场上的SLC、MLC硬盘几乎绝迹，TLC当家作主的年代让这种现象成为所有固态硬盘不可逃脱的命运，掉速才真真正正被消费者所重视起来，掉速后的性能（缓外速度）是否会影响到使用体验，是评价一块固态硬盘好坏的重要标准。此外，SLC缓存的大小和硬盘剩余容量有关，缓外速度也受到硬盘先前删除的数据类型有关，各种品牌型号的硬盘性能都不一样。在掉速之前，基本上只要是个固态硬盘就能够跑满SATA接口500MB/s，M.2硬盘也绝不会低于2000，这不会对拍摄产生瓶颈。作为存储的硬盘需要保证在掉速以后依旧能够维持360MB/s的写入速度，才能够持续满帧拍摄。当年我那块硬盘最后的测试结果，掉速后不到150，比机械硬盘强一点而已。蓝色为读取，红色为写入。早期小容量的固态硬盘非常容易出现掉速后不如机械硬盘的窘境，今天许多高性能硬盘可以做到不掉速或掉速后依然很快，减轻这种影响。固态硬盘掉速后的具体速度和它的接口、协议没有必然联系，而是由它的用料和容量决定，很多消费者会被宣传页面所标注出SLC性能的最大速度所迷惑，最后买回来的却是个电子垃圾。了解某一型号的缓外速度可以通过软件测试或者实际写入大文件，但是最简单的方法还是通过其他消费者告知。我认为需要满足持续拍摄的最低性能需要达到400MB/s，而M.2硬盘的要求需要更严格一些，至少800MB/s，在数据转运过程中才能够节省更多的时间。这里统计一些常见品牌的旗舰产品、性价比之选和踩雷型号以供参考，方便选购。
机遇与挑战花有重开日，人无再少年。许多难得一见的罕见天象（金星凌日、日食、大彗星等）一旦错过就再也无法重新拍摄，即使是未来几十年后出现了新的处理技术，如果没有得到一份最佳的原始数据，后期无论再怎么补救都是没有用的。2018年1月31日月全食素材，占用空间高达170GBSSD的发展除了能够稳定高速拍摄还能带来哪些好处？我们可以通过配置固态热数据+机械冷数据的组合，进一步提高工作效率。例如，外出拍摄的笔记本电脑内置满速持续写入的固态硬盘，通过M.2硬盘盒，将拍摄数据转运进入性能更高的台式电脑中，且台式电脑接收数据一方也是M.2硬盘，数据进入台式电脑后读取高达3000+，搭配32G内存可以轻松胜任任何后期处理；在所有处理工作结束以后，原始素材被保存进机械硬盘中，并加以备份。目前许多台式机主板、笔记本电脑和M.2硬盘盒都已经支持USB3.2 gen2，在双方都支持该协议的前提下传输速度接近1000MB/s，也就是现今天文相机带宽的3倍。这个速度对于SSD是一个分水岭，大多数中低端的硬盘卡在及格线以下，高端硬盘则可以轻松突破。等到天文相机下一次提速的时候，我们也许应该提前部署好对应性能的固态硬盘，以获得最佳体验。如果经济条件允许，首选当然是全闪存阵容，将龟速的机械硬盘彻底抛弃。表格里也推荐了一些大容量固态硬盘，我目前正在使用一块3.84T加两块7.68T的组合，无论是再大的数据读写，在SSD的高性能加持下，也就三分钟以内的事情。当然，这些后期工作不同于现场临时拍摄，速度的快慢无非是多等一会而已，预算吃紧时还是应该优先提升天文器材，也不要像我一样，玩着玩着从天文爱好者变成了固态硬盘爱好者，那就舍本逐末了。部署存储阵列，除了经济之外，还需要考虑电脑接口数量的问题。依照数据的重要程度、速度需求以及使用频率选择合适的容量及存储介质，这样即使在接口有限的情况下，允许某些硬盘暂时脱离主机，剩下的硬盘之间进行数据交互，可以得到最佳的体验。
用sc的视宁度助手，录制的时候就把好的视宁度筛选出来，减少存储压力 只要不严重掉桢，就没所谓。 是买台大存储的笔记本电脑，还是配一块移动固态硬盘？
移动存储上保存数据会不会风险比较大？ 老饼干 发表于 2023-5-6 10:07
是买台大存储的笔记本电脑，还是配一块移动固态硬盘？
移动存储上保存数据会不会风险比较大？ ...
新出的笔电，多数已经配了固态硬盘。
不用外接。
老饼干 发表于 2023-5-6 10:07
是买台大存储的笔记本电脑，还是配一块移动固态硬盘？
移动存储上保存数据会不会风险比较大？ ...
让保存数据风险变小的最佳方法是多硬盘备份，而不是期待某一块硬盘永不故障，这是我从小到大经历四次坏盘丢数据得出的血的教训
探栓怪 发表于 2023-5-9 00:47
让保存数据风险变小的最佳方法是多硬盘备份，而不是期待某一块硬盘永不故障，这是我从小到大经历四次坏盘 ...
大佬来了，我多问一句：那种移动介质作为备份比较可靠？
谢谢分享 老饼干 发表于 2023-5-9 08:57
大佬来了，我多问一句：那种移动介质作为备份比较可靠？
移动介质首推固态硬盘，防摔能力远胜于机械硬盘，大文件也是随取随用，不必担心速度的困扰。
如果DIY能力不是很强，建议选择表中的闪迪E61，附赠防尘防水密码锁功能，缺点是价格较贵。
最具性价比的方案还当属机械硬盘，在外拍摄完毕后回家用台式电脑保存好，固态硬盘只作为搬运工使用、容量也不需要很大。
支持 探栓怪 发表于 2023-5-9 22:57
移动介质首推固态硬盘，防摔能力远胜于机械硬盘，大文件也是随取随用，不必担心速度的困扰。
如果DIY能 ...
多谢
页:
[1]