关于DSS叠加：RAW和TIFF方式的差异演示

archang · 发表于 2014-3-31 14:51

tiantian99 发表于 2014-3-30 22:27
自己看图说话，上图是RAW方式叠加，下图是TIFF方式叠加，谁的动态范围大？

...

单单从这两个图里根本比较不出谁的动态范围大。但考虑到后者是由前者变换得来的，那么raw的动态范围不会比tiff的低。

楼主你知道动态范围是什么意思吗...

tiantian99 · 发表于 2014-3-31 15:25

archang 发表于 2014-3-31 14:51
单单从这两个图里根本比较不出谁的动态范围大。但考虑到后者是由前者变换得来的，那么raw的动态范围不会 ...

不知道。你能帮我百度一下吗？哈哈~ 玩笑了啊

tiantian99 · 发表于 2014-3-31 15:34

椰风123 发表于 2014-3-31 13:50
先引用你一句话：

“现在自己琢磨明白了，因为DSS是全线性叠加，也就是说单反中的ISO设置其实也是忽略的 ...

谢谢你详细的回复，这些常识我是知道的。
我也知道先转TIFF（ISO其实就是Gain，其实就是曲线）后叠加，平场不好处理（暗场我觉得问题不大，同样的曲线，应该能够扣除）。

但事实上转TIFF后叠加得到的片子就是信噪比高（至少看起来高），而RAW叠加后再拉曲线就是噪点偏高，这同样也有同好和我感觉一样。

tiantian99 · 发表于 2014-3-31 15:40

crazygame12345 发表于 2014-3-31 13:36
这个我想说一句，TIFF叠加的，很明显，整体偏右移动了，左面的无信息区太多，实际上是会有星点过曝的。
...

关键不是左边空多少，而是有效信息跨度多少。

至于星点过曝，RAW的histogram图最右侧应该有不少了，这个不可避免。

至于原图，sorry，每个人是每个人的劳动成果，没法发给你。你可以拿你单反拍的片子，说明下RAW方式叠加不会比TIFF方式叠加差，这样就OK。

crazygame12345 · 发表于 2014-3-31 16:04

tiantian99 发表于 2014-3-31 15:40
关键不是左边空多少，而是有效信息跨度多少。

至于星点过曝，RAW的histogram图最右侧应该有不少了，这个 ...

好的。。
哪天我试一试。。

archang · 发表于 2014-3-31 16:13

tiantian99 发表于 2014-3-31 15:34
谢谢你详细的回复，这些常识我是知道的。
我也知道先转TIFF（ISO其实就是Gain，其实就是曲线）后叠加，平 ...

用tiff处理暗场是有问题的，因为非线性不满足分配率。
其实非线性tiff直接叠加都是有问题的，读出噪声期望变了

椰风123 · 发表于 2014-3-31 19:39

tiantian99 发表于 2014-3-31 15:34
谢谢你详细的回复，这些常识我是知道的。
我也知道先转TIFF（ISO其实就是Gain，其实就是曲线）后叠加，平 ...

ISO就是Gain，但是和曲线略有区别。ISO/Gain是读出前的线性处理，曲线是读出后的非线性处理。

不扣平场的话，直接在DSS叠加和转TIFF叠加效果应该差不多，楼主说性噪比差很大觉得不太可能。但是除平场和不除平场的照片效果是差别很大的。

tiantian99 · 发表于 2014-3-31 23:15

椰风123 发表于 2014-3-31 19:39
ISO就是Gain，但是和曲线略有区别。ISO/Gain是读出前的线性处理，曲线是读出后的非线性处理。

不扣平场 ...

谢谢你指出我的错误。我进一步比较了在DSS中不同ISO的RAW图，我的表述的确有问题。看起来很黑，的确是因为线性的讲它就是很黑，但我们的显示器是8位的，所以RAW的图像软件给了我们处理。而有些RAW在DSS中叠加后不是很黑，是因为线性而言它的曝光就比较充分，于是在RAW的图像软件和DSS中看来区别不大。
至于拉伸之后再叠加是否提高了信噪比，我认为是理论和实操的差别了。理论上讲不应该有区别，但实操就是有区别。非线性带来的问题我也是不否认的。

谢谢你们在理论上对我的指正，但我会在一定程度上坚持我的实操。如下是几个例子：

1，几年前刚开始玩天文摄影的时候，有人告诉我尼康的机器不适合，因为即使是RAW也低通滤镜处理过了，有可能抹掉最暗的星点，我说就好像你要发现什么新星似的，天文摄影后期的成分也很大，任何一个PS操作就可能大过这一点低通处理。事实呢，我这几年拿尼康机器拍的，没觉得比任何佳能的单反拍的差。

2，我的单反改黑白了，有人告诉我这样做意义不大，损失微透镜和去掉拜耳层，两相抵消，QE不见得有提高。而事实呢，黑白单反不仅给了我LRGB方式拍摄的可能，也让窄带单反玩起来没问题。这二者出的片，我没觉得比同好用冷冻CCD拍的差。谁不明白理论上讲冷冻CCD会不比我的黑白D7000强呢？

3，而今RAW方式叠加，还是TIFF方式叠加，有人告诉我绝对不可以后者。而事实我发现后者的确给我带来了好处，虽然同样有问题。我会分场合，这两种方法都使用。

ecloud · 发表于 2014-4-1 01:39

根本原因是DSS太烂，它无法解析比较新的一些相机的RAW里面的很多关键数据

我跟LZ的做法雷同，都是先在原厂软件里面做基本的预处理另存为TIFF，包括所有平场暗场，然后再到DSS里面对TIFF进行叠加

我很奇怪有人说什么平场暗场没法用，只要原厂软件里不打开任何降噪和纠正选项，那么是完全没影响的

原厂软件对RAW的处理是无损的，包括修改白平衡和曝光。在RAW上对这些基本参数动手，要比之后对TIFF动手来的损失小得多

DSS是一款功能非常有限的软件，如果想比较精细和完善的处理，还是选择其他商业软件吧

ecloud · 发表于 2014-4-1 01:52

椰风123 发表于 2014-3-31 13:50
先引用你一句话：

“现在自己琢磨明白了，因为DSS是全线性叠加，也就是说单反中的ISO设置其实也是忽略的 ...

dcraw只不过是能用而已，算不上什么优秀。最大的问题是开源软件无法获得厂商私有数据。现在比较新的单反，其RAW可不是那么单纯的，里面的花样很多，除了原厂软件基本上都不能完全破解

对于原厂软件的用法，很简单的原则，就是留下你想要的（比如曝光调节和白平衡调节），扔掉你不想要的（比如色相和降噪），这需要在机身和软件都做到正确的设置才行

只要你的调节方针对于每张RAW都一致的话，就不存在暗场平场不能用的情况

很多人觉得DSS处理RAW好用，那是因为他们用的都是老掉牙的350D,450D这些机器，最近几年的新机器RAW，DSS根本解不了

ecloud · 发表于 2014-4-1 02:00

archang 发表于 2014-3-31 16:13
用tiff处理暗场是有问题的，因为非线性不满足分配率。
其实非线性tiff直接叠加都是有问题的，读出噪声期 ...

扣暗场算法是基于光栅图的
其实所有平面处理算法几乎都是基于光栅图的
线性数据在进行处理之前都是平摊成BMP再进行计算的
CMOS跟CCD不一样，CMOS准确地讲没有一个“读出噪声”的概念，噪声信息绑定在每个像素点上，不是像CCD那样一行一行读出的

ecloud · 发表于 2014-4-1 02:16

最后说到LZ的RAW原片解析暗的原因
其实就是你不应该用DSS去解析IMX071这颗芯的片子

很多佳能用户和CCD用户的经验并不适合你
IMX071是一颗很怪又很强悍的cmos，每个使用该芯片的单反型号都有自己特殊的处理算法，很多东西固化在机身的影像处理器上，而不是cmos本身。所以才会看到那么多种使用IMX071的机器有着不同的表现
纯RAW并不能把厂家固化的所有算法都体现出来，所以每家的RAW里面都加了料，有一些私有的数据，只有用原厂软件才能解读出来并且还原成机身处理器处理的结果

在我多年处理K5,K30的片子的经验中，就发现，使用原厂软件修改EV的效果，跟任何第三方软件都不相同，明显直方图更平均，过渡更柔和。而Aperture和DXO修改相同的EV其直方图也是完全一样的。说明原厂软件里面加一个EV的话，并不是简单地在RAW源数据上给增加一个EV那么简单。另外再比如暗部补亮的算法，我用过从C1pro到西瓜皮到DXO等等各种软件，都打不到宾得原厂软件的那个效果，这里面肯定是有什么手脚的

而富士的片子就更不用说了，第三方软件更是差的大了去了

单反的RAW，叫做RAW而已，其实就是TMD私有格式，水很深啊！

archang · 发表于 2014-4-1 10:46

ecloud 发表于 2014-4-1 02:00
扣暗场算法是基于光栅图的
其实所有平面处理算法几乎都是基于光栅图的
线性数据在进行处理之前都是平摊成 ...

当然是基于光栅图，当然是考虑每个像素点

我的意思是:

对于每一个像素点,

考虑暗电流b, 信号为a , 非线性函数f 不满足 f(a+b)-f(b)=f(a).
考虑随机噪声（读出噪声）, 原本期望为0, 叠加取平均后可显著减小。但非线性变换后期望不再是零。

   举个特殊的例子。
   某一像素上实际的信号是100，但有噪声影响，一张照片是99, 一张是101。
   tiff非线性的变换是 x -> x^2/100，实际信号直接变换应该还是100.
   这样先取平均再做非线性, 得到的是100.00;
   先做非线性再取平均, 得到的是100.01.

总之，所有的非线性操作都要在对线性数据的叠加降噪之后再进行。你可以不信任raw，不信任dss对raw的解析，那么请使用相机厂家提供的软件生成"线性tiff"文件再处理。

不过，硬要说我就这么处理结果也好啊，看起来信噪比很高啊，操作也很简单啊。那也没办法，我只能“呵呵”了。

椰风123 · 发表于 2014-4-1 13:51

ecloud 发表于 2014-4-1 02:16
最后说到LZ的RAW原片解析暗的原因
其实就是你不应该用DSS去解析IMX071这颗芯的片子

"单反的RAW，叫做RAW而已，其实就是TMD私有格式，水很深啊！“ --- 深以为然，极其头痛！
其中尼康，宾得，索尼等夹带的私货最多。不负责任地瞎猜一下，既然厂家在RAW文件里动了这么多手脚，那指望原厂软件良心发现把这些私货去掉，给用户真正的RAW就更不可能了。更大的可能是在这个过程中夹进去更多的私货来取悦人眼。但是这种取悦都是针对日常场景的照片，对后期处理是不利的。

在线性地把RAW转成TIFF的前提下，值不值得转成TIFF再叠加，其实就取决于DCRAW和原厂软件哪个解码得更好了。差别应该细微到人眼看不出来，一个后期动作都比这个差别这个大。但是不扣平场处理的差别，那可是相当的巨大呀，深深地体会过。

ecloud · 发表于 2014-4-1 17:08

archang 发表于 2014-4-1 10:46
当然是基于光栅图，当然是考虑每个像素点

我想你大概没理解RAW跟光栅图的关系
你以为能够在RAW数据上直接进行运算，那是错误的
都是先把RAW转换成光栅图数据以后再进行计算的，也就是都是你说得那个“非线性计算”
其实就是
A: RAW->BMP->叠加计算
B: RAW->TIFF->BMP->叠加计算
这里BMP指代光栅图
不存在在RAW上面直接进行叠加计算的算法

其实你注意看DSS的临时文件目录就知道了，在它运行中，会生成体积巨大的临时文件，一个图一张，尺寸大概比TIFF还要大20％左右，那个就是这里说的“BMP”——位图

对于CCD来说，路径A的损失最小
但是对于某些cmos来说，用原厂软件走路径B要比让DSS自己走路径A的损失小，这就是LZ遇到的情况

mayapple · 发表于 2014-4-1 19:02

涨知识了，看了各位高手的讨论后，好多原来想不通的事都明白了

archang · 发表于 2014-4-1 19:13

ecloud 发表于 2014-4-1 17:08
我想你大概没理解RAW跟光栅图的关系
你以为能够在RAW数据上直接进行运算，那是错误的
都是先把RAW转换成 ...

我也没说在raw的数据上直接运算，raw怎么说也有无损压缩吧，不解压怎么算...

你这里的光栅图指的是CFA? 包含Bayer的数据？

DSS的处理流程应该是从raw中解出cfa, 进行叠加，最后生成rgb
如果我们认为这个cfa是线性的，那就没什么问题了吧。（厂家的猫腻那就是鬼才知道了...）

问题是这个B步骤，中间生成的tiff是否保留cfa? 是否保留非线性变换的信息。如果没有，那就得不到线性的"BMP"再叠加吧。

无论如何，为了保证叠加那一套算法的有效性(偏置暗场平场计算的前提是线性)，那个BMP必须是线性的，这个有问题吗？

ecloud · 发表于 2014-4-1 20:39

archang 发表于 2014-4-1 19:13
我也没说在raw的数据上直接运算，raw怎么说也有无损压缩吧，不解压怎么算...

你这里的光栅图指的是CFA? ...

进行叠加计算的是标准的位图
什么是位图？XY坐标＋RGB＋Alpha，RGB和Alpha每个通道8位，一共32位，对于一般的sRGB和aRGB来说是这样的
不存在RAW和位图中间的东西
“纯RAW”只包含每个像素点的亮度数据和信噪比数据，无它
对于单反cmos来说，需要额外的拜尔滤镜排列数据，白平衡数据，EV数据（基础信噪比）等等参数，来把RAW换算成位图
位图的每个像素点是通过RGB差值计算才得到的，就算纯亮度数据，也是一样。正确的亮度计算要引入很多机身设置参数，这就是为什么LZ的RAW被DSS解的很暗的原因。而且原RAW的信噪比数据是否能够正确的被DCRAW解析也不敢说
位图的每个点并不是cmos上面原始像素点的那个亮度值
DSS后“染色”不过是在叠加的时候只考虑位图的每个像素点亮度值，之后再对应到RGB，这可以减少计算量，加快速度

扣暗场其实针对的就是亮度值，无关乎它究竟是RG还是B，但是这个算法是基于位图的亮度值而不是cmos每个点上的那个亮度值，对于大部分cmos来说这两者在绝大多数情况下是不一致的。原厂软件可以进行正确的换算，而第三方则存疑

最简单的例子就是坏点。对于RAW来说，坏点的值是0，但是你得到的位图并不会是0，坏点数据会作为metadata记录在RAW中，在RAW转位图的过程中使用插值算法把周边像素的值复制到这个点上。你从来没见过谁的片子上一个星中间有个黑点因为那是坏点，这是因为DDS在处理的时候基于的是已经“修复”了那个坏点的位图

当然了，其实整个故事跟DSS关系并不大，归根结底转换RAW到位图的程序是DCRAW，这个开源软件仅仅是“能用”而已

dcraw is an open-source computer program which is able to read numerous raw image formats, typically produced by high-end digital cameras. dcraw converts these images into the standard PPM and TIFF image formats. This conversion is sometimes referred to as developing a raw image (by analogy with the process of film development) since it renders raw image sensor data (a "digital negative") into a viewable form.

xielei8850 · 发表于 2014-4-1 20:53

楼主真个一个教授级别，太厉害了

ecloud · 发表于 2014-4-1 20:53

本帖最后由 ecloud 于 2014-4-1 21:05 编辑

archang 发表于 2014-4-1 19:13
我也没说在raw的数据上直接运算，raw怎么说也有无损压缩吧，不解压怎么算...

你这里的光栅图指的是CFA? ...

换句话说吧，RGB本身并没有意义，你可以理解为三个通道的亮度值，然后在加上一个参考参数（Alpha），这一切组合成一个位图像素点
扣暗场，并不需要关心这三个通道究竟代表什么，所以可以后染色
但是不要把染色和插值计算搞混淆了
从cmos点映射到位图点，必须插值计算，因为不同颜色拜尔滤镜通光量是不同的，每个cmos像素点的基础信噪比也是不同的，还要考虑坏点和亮点等因素，期间还要引入其它很多当时的机身参数，统统这些数据也都存在RAW里
至于说RAW为什么那么小，不是因为压缩，无损压缩可达不到30％的体积。小是因为，RAW只包含每个像素点12bit/14bit/16bit的亮度（含噪声数据），加上一些metadata，一块cmos是什么12bit/14bit/16bit指的就是这个。而你看位图一个点要32bit哦。所以位图大小是RAW的3倍左右，DSS的大临时文件就是这种位图

这不像单色CCD那么简单直接
CCD的RAW转位图，可以理解为你说的“线性”
但是cmos转位图，完全不是你说的“线性”，也不可能“线性”，因为“线性”出来的东西是错的

		自动登录	找回密码
密码			加入牧夫（请注明天文爱好者，否则无法通过审核，请勿使用gmail/outlook/aol/icloud邮箱注册）

[天文观测] 关于DSS叠加：RAW和TIFF方式的差异演示

点评

点评

点评

点评

点评

点评

点评

点评

点评

点评