关于DSS叠加：RAW和TIFF方式的差异演示

ecloud 发表于 2014-4-1 20:53
换句话说吧，RGB本身并没有意义，你可以理解为三个通道的亮度值，然后在加上一个参考参数（Alpha），这一 ...

位图是什么我还是知道的，“光栅图”这个名字还是头一次听说

++ 不存在RAW和位图中间的东西
dcraw有个宣称是“Extract pure RAW data without applying any demosaicing or transformation process”
这样解出来的东西就是CFA，之后插值才能补足各点的rgb数据得到你所说的“位图”。
至少看佳能的raw，CFA是直接无损jpeg压缩放到raw里的。参考 http://lclevy.free.fr/cr2/

++ “纯RAW”只包含每个像素点的亮度数据和信噪比数据，无它
raw里有信噪比数据还是第一次听说，不过比值不影响线性。（我很好奇是怎么测定每一点的噪声水平的，难道每次拍照测一次? 这可和环境温度有关啊）

++ 对于单反cmos来说，需要额外的拜尔滤镜排列数据，白平衡数据，EV数据（基础信噪比）等等参数，来把RAW换算成位图
白平衡数据也是乘法运算，不影响线性。





说半天又说回来了
dss的处理是通过dcraw得到CFA, 再叠加，最后demosaic/debayer/插值。
所以只要考察叠加前的CFA是不是线性就行了。认为它和接受的光子数线性相关会有很大的疑问吗？

还是那个问题，tiff怎么做到这个，tiff应该已经做过demosaic/debayer/插值了吧，再调调曲线，肯定非线性。

ecloud 发表于 2014-4-1 20:53
换句话说吧，RGB本身并没有意义，你可以理解为三个通道的亮度值，然后在加上一个参考参数（Alpha），这一 ...

如果说是“基础信噪比”，那每一点就是固定的值了？那在这点上我就没疑问了。

再补充一下，偏置暗场平场都是在一个点上的运算，（这一点是单色灰点）
只有最后插值才要考虑周边的点，但插值是在叠加后进行。
所以，我没看出任何引入非线性的地方。
而你最后也没具体说明CCD和CMOS在线性问题上哪里有区别，如果是由于颜色，那我看不出多了Bayer滤镜会造成这种影响。

果然成了教授论坛。我只知道任何一个人的实操都是离理论相当的远。如果都是理论那么简单，就不会出各种软件了，直接有个最佳路径和最佳方案，保证你的最佳结果。一扔进去，绝对得到理论上最大的信噪比。我倒真希望有这样的软件。有吗？如果真有，反倒觉得boring了。最后出片，还是给人眼看的。而且有人觉得这么好看，有人觉得那样好看。所以，在我看来是实操课。当然理论辨来辨去也是一种乐趣。

archang 发表于 2014-4-1 22:08
如果说是“基础信噪比”，那每一点就是固定的值了？那在这点上我就没疑问了。

再补充一下，偏置暗场平场 ...

我想你还是把cmos想象成跟CCD一样的工作模式了，把很多东西搞混淆了
其实很不一样
马赛克cmos的RAW不是你想象的那种“线性灰度流”
cmos每个单元可以记录动态噪声（所以cmos不存在“读出噪声”这个概念），也就是拍摄瞬间的那个基础信噪比，每次可能都不一样，这些都存在于RAW中，所谓的RAW降噪就是对这个参数的利用，这又是另外一个水很深的课题
三色拜尔滤镜的透光率是不一样的，不同品牌/型号的也不一样，甚至排列还有不一样的，比如富士的。所以原像素点的基础亮度值是不能拿来直接运算的，必须要经过插值，降噪，EV装定和白平衡装定等等运算之后的位图通道亮度值才有意义，才是正确的
这些运算没有一个是你说得线性的，包括白平衡。白平衡计算其实很复杂，具体的算法可以看wiki，可不是乘法那么简单
DSS拿到手处理的都是位图，每个点都是DCRAW运算之后的结果，亮度插值跟着色插值不是一回事，可以晚着色。如果你不相信，自己看一下临时文件的大小就一清二楚了。一般的单反RAW一个像素14位，16M的也好18M的也好，文件大小怎么也不可能超过50M。位图一个像素要32位

其实，扣暗场这个算法也不是你以为的加减法。扣暗场有三种模式，我现在还不太清楚他们具体的差别优劣，但是算法是不同的。你所说得纯“加减法”的那种扣暗场模式，是每一张亮场对应一张暗场的那种模式，似乎用得很少。而常用的模式都是先对几张暗场进行一个加权平均以后的那张“平均暗场”再去跟每张亮场运算，这里早就没有什么你说的那个“线性”了。为什么要这么做，具体的在Nebulosity的帮助里面有长篇大论，我没仔细读完，大体上作者认为暗场平场这些东西都要取平均值的好，他甚至建议平场都要做4X4混叠

光栅图是针对于矢量图等其它图形表示方式而言，特指通过对XY两轴上对应点的描述而表述图像的方法，也叫矩阵图。位图是光栅图在计算机中的一种存储方式。几乎所有的图像处理算法都是针对于光栅图而言的。RAW不是图像，RAW被”解“出来以后就是光栅图，这个过程可以是你说的”线性“，但是大部分情况并不是

archang 发表于 2014-4-1 22:08
如果说是“基础信噪比”，那每一点就是固定的值了？那在这点上我就没疑问了。

再补充一下，偏置暗场平场 ...

最后我要说的是，您纠结这个线性不线性是没有意义的
大部分的暗场本身就一大堆问题，温度不一致，电压不一致（没错，用电池的单反电压是慢慢降低的，并且绝大多数没有稳压电路），多张取平均，这些因素造成的误差远远大于您理论上的那个”线性“

不存在完美的无损，损耗是肯定有的，不过我们可以找到损耗最小的途径
但是相对于损耗这个次要矛盾来说，对RAW错误的解析甚至无法解析那就是主要矛盾了。比较新的单反，用原厂软件解RAW，是能够避免这种重大错误的唯一方法

我还是那句话，单反不是冷冻CCD，单反的RAW仅仅是叫做RAW而已，里面的”料“太多，厂家如果不公开，第三方很难处理好

ecloud 发表于 2014-4-1 23:53
我想你还是把cmos想象成跟CCD一样的工作模式了，把很多东西搞混淆了
其实很不一样
马赛克cmos的RAW不是你 ...

++马赛克cmos的RAW不是你想象的那种“线性灰度流”

为什么不是？

++cmos每个单元可以记录动态噪声（所以cmos不存在“读出噪声”这个概念），也就是拍摄瞬间的那个基础信噪比，每次可能都不一样，这些都存在于RAW中，所谓的RAW降噪就是对这个参数的利用，
++这又是另外一个水很深的课题

任何测量都会有读出噪声，我之前的计算里指的是具体的散粒噪声，由光子电子的涨落引起的，一般认为符合泊松分布。

++三色拜尔滤镜的透光率是不一样的，不同品牌/型号的也不一样，甚至排列还有不一样的，比如富士的。所以原像素点的基础亮度值是不能拿来直接运算的，必须要经过插值，降噪，EV装定和白平衡装定等等运算之后的
++位图通道亮度值才有意义，才是正确的
++这些运算没有一个是你说得线性的，包括白平衡。白平衡计算其实很复杂，具体的算法可以看wiki，可不是乘法那么简单
++DSS拿到手处理的都是位图，每个点都是DCRAW运算之后的结果，亮度插值跟着色插值不是一回事，可以晚着色。如果你不相信，自己看一下临时文件的大小就一清二楚了。一般的单反RAW一个像素14位，16M的也好
++18M的也好，文件大小怎么也不可能超过50M。位图一个像素要32位
++其实，扣暗场这个算法也不是你以为的加减法。扣暗场有三种模式，我现在还不太清楚他们具体的差别优劣，但是算法是不同的。你所说得纯“加减法”的那种扣暗场模式，是每一张亮场对应一张暗场的那种模式，似乎用
++得很少。而常用的模式都是先对几张暗场进行一个加权平均以后的那张“平均暗场”再去跟每张亮场运算，这里早就没有什么你说的那个“线性”了。为什么要这么做，具体的在Nebulosity的帮助里面有长篇大论，我没仔细读
++完，大体上作者认为暗场平场这些东西都要取平均值的好，他甚至建议平场都要做4X4混叠


您大概还是没理解我的思路，我只“纠结”于叠加前的东西是否与接收的光子线性相关，而叠加中的具体操作，具体算法，我并不关心，叠加中引入了非线性的东西，那不是问题。
因为，我们首先要明确一点：为什么要用DSS叠加，为什么要做偏置暗场平场这些东西。
这些本就是考察线性的感光元件的性质，考察可能引入的各种噪声来源和其分布，然后找出一套可以显著减小噪声的算法。

前提是什么？前提是你扔给叠加这个黑盒子的东西是线性的。

之后回到是不是线性的问题了。
答案很简单，世界上就根本没有线性的东西。就像世界上根本没有圆形的东西一样，完美的圆只存在于数学理论之中，绝对线性的感光元件只是理论上的假设。
但我们为什么还能用这套降噪算法，因为那个东西偏离线性并不太大，应用这套算法不会造成很大的失真。（对这一点我还是持乐观态度）

好了，之后的问题是，对这个东西做了很强的非线性变换后（拽了个以对数为基础的曲线），我们还用这套算法，可以吗？
引入更大的失真是必然的结果，但对于具体一张天文摄影作品的影响有多大，这个就没法定量的说了，因为这里貌似真实性要让步于艺术性了。不过，在进行艺术加工之前，为什么不尽量满足其真实性，反而人为引入本可避免的失真呢?

而且感觉有些践踏了算法设计者的辛勤工作，人家本来针对线性数据做的处理流程，却被你这样的使用了，可惜啊可惜。

northwolfwu 发表于 2014-3-27 07:27
这样做有个问题 暗场和平场就没法用了，如果相机cmos干净，噪声小 影响不大。 ...

实测平场有用的，这取决于你在dpp里是怎样处理的。只要吧所有的矫正都关了就行，效果很明显。而且实测先用原厂软件转换成tiff以后再到dss里面叠加效果确实比直接raw来的好些，包括暗场的效果。

ecloud 发表于 2014-4-2 00:12
最后我要说的是，您纠结这个线性不线性是没有意义的
大部分的暗场本身就一大堆问题，温度不一致，电压不 ...

对于是否是线性，上面已经说了我的观点。我不知您是如何得到“误差远远大于”这个结论的。有误差，这没问题。误差有多大，在跟谁做比较？我认为，更大的偏差是曲线引入的。

如果您认为反正偏差都很大了，两种方式叠加效果就差不多了。
那为什么不用厂家软件生成线性tiff再叠加，这应该是很简单的吧。
同样是用tiff叠加，为什么能用线性的而不用？只是因为你对这个“线性”不信任？

ecloud 发表于 2014-4-2 00:12
最后我要说的是，您纠结这个线性不线性是没有意义的
大部分的暗场本身就一大堆问题，温度不一致，电压不 ...

我自己就测试过了很多次，dss对于raw的解读确实很不理想。即使包括平场和暗场，每次都是先转后叠的效果好些。

danaoshuiping 发表于 2014-4-2 09:35
实测平场有用的，这取决于你在dpp里是怎样处理的。只要吧所有的矫正都关了就行，效果很明显。而且实测先 ...

对你的这个说法持保留意见，如果平场有效，为啥ｃｃｄ上的灰尘没有去除，而要用图章来修改？
DSS出来的是线性的，没有处理，当然不如DPP或者其他软件处理的效果。
只能说，DPP等软件处理原片的相对容易，比较容易出彩，比用Photoshop的色阶，曲线简单。
达到相同的效果，Photoshop要复杂些，一般人不容易掌握。

northwolfwu 发表于 2014-4-2 14:04
对你的这个说法持保留意见，如果平场有效，为啥ｃｃｄ上的灰尘没有去除，而要用图章来修改？
DSS出来的是 ...

其实APSC单反拍平场也没太大作用，暗角不明显（比较好的镜子的话），又有超声波除尘（大部分中端机）单反cmos的亮度均匀性高出制冷CCD几个数量级以上，几乎肉眼也看不出来亮度不均（当然指的是比较新的单反）

ecloud 发表于 2014-4-2 16:23
其实APSC单反拍平场也没太大作用，暗角不明显（比较好的镜子的话），又有超声波除尘（大部分中端机）单反 ...

单反亮度的均匀性比ＣＣＤ好，这点不太认同，有测试图片比较么？
单反一般是从显示屏上看到，已经是经过了非线性变化，因此暗角不明显。
ＣＣＤ一般从Maxim DL直出，是线性的，如果经过DDP等非线性变化，暗角也会小很多。

northwolfwu 发表于 2014-4-2 16:47
单反亮度的均匀性比ＣＣＤ好，这点不太认同，有测试图片比较么？
单反一般是从显示屏上看到，已经是经过 ...

我真搞不懂你们成天纠结这些什么线性非线性的，究竟是哪来的奇怪理论

暗角完全是个光学缺陷，你拿一张胶片放在那里，同样的尺寸，该是多大暗角就是多大暗角一点不会变。同样一个主镜，同样的成像尺寸，不管你用正片负片CCD还是CMOS，暗角都是一样一样的

算了，我决定退出本贴的讨论
跟只用CCD的人讨论单反cmos问题，如同鸡同鸭讲，没有任何意义
反正使用新近中高档单反的用户自己也都很清楚是怎么回事，知道怎么做是正确的，也根本没必要听我啰嗦
这个东西，我觉得就像中国人偏要去讨论美国人早餐应该吃什么一样，毫无意义

ecloud 发表于 2014-4-2 17:03
算了，我决定退出本贴的讨论
跟只用CCD的人讨论单反cmos问题，如同鸡同鸭讲，没有任何意义
反正使用新近中 ...

我倒觉得你理论很多，但是处理天文照片的实际操作经验很少。而且看你对暗场和平场的认识，很多理论还是基于日常摄影的认识，实际和天文摄影大不同。

northwolfwu 发表于 2014-4-2 14:04
对你的这个说法持保留意见，如果平场有效，为啥ｃｃｄ上的灰尘没有去除，而要用图章来修改？
DSS出来的是 ...

不，即使那ps进行足够细致的非线性显像处理，乍一看效果可以和先转再叠的差不多，但细节完败，还有色彩过渡也很难弄好，总之也许能差不多，但是要话费的功夫实在太大，根本没必要，无论如何得到好的效果是王道，纠结太多只会很累。

ecloud 发表于 2014-4-2 16:57
我真搞不懂你们成天纠结这些什么线性非线性的，究竟是哪来的奇怪理论

暗角完全是个光学缺陷，你拿一张胶 ...

这个理论自从图像处理一来就有了，不是什么新鲜说法，不要认为没有看到就是乱讲。

后半句怎么就改变说法了？从你的说法看，对深空图像处理并没有做过很深入实践，要用事实说话，要用具体例子说话。

danaoshuiping 发表于 2014-4-2 19:15
不，即使那ps进行足够细致的非线性显像处理，乍一看效果可以和先转再叠的差不多，但细节完败，还有色彩过 ...

那说明Photoshop处理过程有问题，而不能说Photoshop本身不好。

ecloud 发表于 2014-4-2 00:12
最后我要说的是，您纠结这个线性不线性是没有意义的
大部分的暗场本身就一大堆问题，温度不一致，电压不 ...

我认为事实胜于雄辩。你们在理论上较真，我只有在实操上较真了。于是又把玫瑰Ha的片子叠加进行了比较，结果仍然支持我和有些朋友的经验，原厂软件转TIFF后再DSS叠加比RAW直接DSS叠加效果要好。

1，尼康转出的TIFF是线性的，所谓看起来暗是因为MDL和DSS都是把14位的相机数据放到16位的空间看。尼康转TIFF相当于把14位线性拉伸到16位的空间，这点和在MDL中线性拉伸做了比较，结果是一致的，细节的差异可能就是 ecloud 说的原厂RAW算法的细节问题了。

2，转TIFF后在DSS叠加再DDP（左，无暗场）和直接RAW在DSS叠加再DDP（右，有暗场）的比较如下图，叠加算法选的一样，在MDL中DDP也尽量保证输出明暗一致。很明显左图的细节更好，而且看左上暗处和玫瑰中心，左图没有斜纹噪点，右图同样位置反而还有可以察觉的斜纹。

3，同样试过MDL线性拉伸14位到16位转TIFF在叠加，得到的效果和RAW在DSS中叠加比较一致，没有明显差别。这更说明原厂对于自己RAW数据的解析的确有独特之处，而这并不是所谓的“线性”和“非线性”一句话就以为明了的事情。

所以，对于我们这些爱好者而言，那个效果好就会用那种方式，而不用在乎别人的“呵呵”。

ecloud 发表于 2014-4-2 16:23
其实APSC单反拍平场也没太大作用，暗角不明显（比较好的镜子的话），又有超声波除尘（大部分中端机）单反 ...

噗，怎么又弄出"平场无用论"了...
你可以玩玩星空马赛克拼接，不弄平场最后出来的波浪状亮度分布也够赏心悦目的了...