[高效]尝试神经网络降噪技术对天文摄影结果降噪

先上结果让各位评价一下（主要是针对高光污染区域曝光不足导致很差的信噪比的情况，输入图像越糟糕，最后的变化越大）
一些分辨率比较高的图片可以放大了看去找噪声和细节
说实话对于一些照片来说确实会丢失细节或者模糊化，但是也具有非常强大的降噪能力，当融合参数接近1的时候你甚至看不到噪声，尤其是背景区域的噪声。而且这个降噪方式也可以最大限度保留细节，通过一些后处理方式可以重新将一些细节添加回去，但是同时又能限制住噪声的重新出现。
我发现，尤其是对于一些拉伸很厉害，导致星云的边缘区域都出现点阵图像，而非连续的图像的时候，最好用.
SH2-311
降噪前: 降噪后:
IC434:
降噪前: 降噪后:
NGC253:
降噪前: 降噪后:
NGC2024:
降噪前: 降噪后:
M42:
降噪前: 降噪后:
降噪工具
降噪用的是SCUNet神经网络，论文:https://arxiv.org/pdf/2203.13278, 项目地址:https://github.com/cszn/SCUNet
然后因为直接使用我发现会过度降噪，会丢失高频信息，细节和噪声都属于高频信息，但是降噪效果绝对是算法降噪无法比拟的
所以我对这玩意进行了额外改造，使用一个合成因子参数来融合降噪后的图像和之前图像中的高频信息，最后效果还不错
过程如下:




最后，如果大家觉得这个降噪能够在天文中使用
我会将其写成用户友好的工具发布，这个过程中使用的神经网络技术是基于Apache2.0开源协议发布的，我的项目也会遵守Apache2.0

下午花了3h随便收集了一些信息就做实验捣鼓出来了
但是暂时只尝试过处理SDR图像，对于深空原始图像的fits或者输出的tif图像还没试过，而且应该会不太一样，因为用的神经网络的权重是针对现实世界的图像进行训练的
暂不确定如果真的直接对堆栈之前经过矫正场校正的深空照片降噪会不会导致合成的图像非常炸裂
或许可以准备深空图像，根据我读过的另一篇论文看，可以使用高斯噪声来近似电子热噪声，对于处理好的，或者质量很高的深空照片进行加噪声来作为训练数据集专门训练（估计工作量也不小）

天文图片降噪一般会用Topaz DeNoise AI

hanlaoliu511 发表于 2024-12-19 19:24
天文图片降噪一般会用Topaz DeNoise AI

虽然但是，刚下载尝试了，其降噪没什么出彩的地方，或则说没有办法远超开源的这个神经网络，而且重点是这个托帕降噪AI，是收费软件，但是开源软件是免费的

如下是对比


Topaz DeNoise AI:

SCUNet + 高通滤波加权恢复:

Topaz DeNoise AI:
甚至这里的IC434 的部分区域被生成了不该生成的纹理

SCUNet + 高通滤波加权恢复:



问题就在于，托帕降噪AI看样子使用的是类似于stable diffusion的AIGC生成式降噪模型，这就有点违背天文摄影的本意了，因为降噪模型和生成模型的本质区别是，降噪模型只能去除噪声，而生成模型可以从原图生成不存在的东西，如果是stable diffusion那更是能从纯高斯噪声图像中逐渐迭代，扩散出一张AI画来

一般用ntx吧，免费的也有deepSNR。不过pi要钱。

tyf123 发表于 2024-12-19 21:23
一般用ntx吧，免费的也有deepSNR。不过pi要钱。

ntx 好像是收费的来着

SCUNet，开源的嘛，重点就是免费和分发权力

支持！我自己弄只会搞些简单的dncnn和unet，训练集也比较小，效果很差，期待楼主这个

Grandala 发表于 2024-12-19 22:39
支持！我自己弄只会搞些简单的dncnn和unet，训练集也比较小，效果很差，期待楼主这个 ...

其实我这个比你弄的简单，只是使用了一个比较新的模型，别人预训练的真实世界权重，然后加上一些额外的后处理的效果

效果主要来自于SCUNet，不过倒是我以后自己拍摄的天体多了倒是可以试试看自己做数据集，因为可以使用高斯噪声近似热噪。

有了这个技术，以后就由我350d的用户吊打大家的ASI1600用户了