数字全息图像在压缩过程中产生的失真会降低其重建像的质量，增加了散斑噪声去除的难度。此外，现有散斑去噪方法需要针对不同程度的压缩失真分别训练不同的网络，这限制了其在实际应用中的灵活性。针对上述问题，提出了一种面向压缩失真的数字全息重建像无监督散斑噪声去除方法。基于压缩过程的质量因子，设计了一个压缩感知注意力模块动态调整网络的权重，实现对去噪过程的自适应控制。其次，使用散斑噪声相关性卷积并结合盲点网络架构，以避免采样密度受限而导致细节信息丢失。最后，引入非线性注意力模块增加全局信息的交互，使网络更加精确地捕获散斑噪声。实验结果表明，所提出方法在有效去除散斑噪声的同时能够保留更多的细节信息。与现有方法相比，所提出方法在客观质量评估和主观视觉感知两方面均取得更好的结果。