pulse

pulse

pulse 是一个基于隐式空间的图像超分辨率算法。该算法的作者来自杜克大学。图像超分辨率任务的目标是将低分辨率图像转换为对应的高分辨率图像。 PULSE 算法利用生成式对抗网络(GAN)和自动编码器(AE)进行图像重建,通过学习隐式空间中的图像表示,实现高分辨率图像的生成。它具有去除图片上马赛克的功能,并且可以用于图像超分辨率任务。 具体的使用方法可以参考该项目的说明文档。使用 PULSE 进行图像去马赛克或超分辨率处理的过程需要运行 run.py 文件,并提供相应的参数。在该文件中可以找到所需参数的具体描述和使用指南。 值得注意的是,PULSE 算法曾因其生成的高分辨率图像可能存在种族偏见的问题而受到一些争议。
1,8110
Real-ESRGAN

Real-ESRGAN

一个用于图像和视频修复的应用程序,它使用ESRGAN模型进行训练,该模型使用合成数据进行图像和视频的恢复。它支持各种模型、选项和推理方法,并且提供在线和离线演示、更新和使用指南。 Real-ESRGAN旨在开发实用的通用图像/视频恢复算法,可以恢复各种来源的图像,如动画视频、照片和视频。 Real-ESRGAN ncnn Vulkan是Real-ESRGAN的ncnn实现版本,从realsr-ncnn-vulkan项目中汲取了许多灵感。 在使用Real-ESRGAN进行图像修复时,可以直接下载项目的执行程序进行运行。如果无法下载,可以使用提供的链接进行下载。 此外,Real-ESRGAN项目还提供了详细的使用说明和演示,包括图片测试修复超分和视频测试修复超分的步骤。 总的来说,Real-ESRGAN是一个功能强大的图像/视频修复工具,具有实用性强、操作简便等特点。
1,7810
ProPainter

ProPainter

ProPainter是一个视频修复项目,旨在提高传播和转换器技术在视频修复中的应用。它是由sczhou开发的,并在ICCV 2023中推出。该项目在GitHub上得到了广泛的关注,获得了1.3k的星标和120的分支。 ProPainter着重于提高视频修复的效果,通过改进传播和转换器技术,使修复的结果更加准确和自然。这个项目的目标是解决视频中的缺失、损坏和污损问题,使修复后的视频更加完整和清晰。
1,7710
StyleTTS 2

StyleTTS 2

一个开源的文本转语音工具,其表现可以媲美Elevenlabs。它具有以下特点: 1. 能够自动生成多种不同的语音风格,无需依赖特定的参考语音。 2. 采用特殊的训练方法,使得生成的语音更加贴近真人的说话方式。 3. 利用扩散模型技术,高效地生成不同风格的语音。 4. 提供对语音的精确控制,包括语速、语调等方面。 5. 在测试中,生成的语音质量接近于真人录音。即使没有特定说话者的样本,也能生成高质量的语音。 StyleTTS 2的工作原理是通过风格扩散和与大型语音语言模型的对抗性训练来实现接近人类水平的TTS合成。这个模型与其前身不同之处在于,它通过扩散模型将风格建模为一个潜在的随机变量,以生成最适合文本的风格,而不需要参考语音。此外,StyleTTS 2采用非自回归架构,它在生成语音时不需要依次预测每个音频样本,而是可以并行生成整个语音序列。这种方法大大提高了语音合成的速度。 StyleTTS 2在多个评估结果方面表现出色: 1. 在多个测试中,StyleTTS 2生成的语音质量非常高,接近或达到了真人录音的水平。这表明了其在模仿人类语音方面的高效能力。 2. 在LJSpeech数据集
1,7610
UniControl

UniControl

UniControl 是 Salesforce 公司开发的一个开源项目,它是一个统一可控的视觉生成模型。 功能特点: 统一视觉生成:UniControl 提供了一个统一的框架来进行视觉生成任务,例如图像生成、图像编辑、图像风格转换等。它为用户提供了强大的图像生成能力。 可控生成:UniControl 具有可控的生成能力,用户可以通过输入不同的控制参数来控制生成的图像风格、内容或其他特征。这使用户可以根据自己的需求进行个性化的图像生成。 开源项目:UniControl 是一个开源项目,意味着用户可以自由地访问、使用和贡献代码。这使得开发者可以更加灵活地使用和扩展 UniControl。
1,7510