AnyText

AnyText

AnyText 是一个开源的多语言视觉文本生成和编辑工具,它基于扩散模型,能够在图片中生成或编辑文字。这个工具支持中文、英文、日文和韩文等多种语言,适用于电商海报、Logo 设计、创意涂鸦、表情包等多种场景。AnyText 包含两个核心模块:辅助潜在模块(Auxiliary Latent Module)和文本嵌入模块(Text Embedding Module)。辅助潜在模块负责处理字形、文字位置和掩码图像等辅助信息,而文本嵌入模块则将文字的语义信息与字形信息解耦合,以提高文字生成的精度和背景一致性。在训练阶段,除了使用扩散模型常用的噪声预测损失,还增加了文本感知损失,以提升文字书写的精度。 AnyText 的代码和安装说明可以在其 GitHub 页面上找到。要在本地安装和运行 AnyText,需要至少20GB的内存和高端显卡。安装过程包括克隆代码库、准备字体文件(推荐 Arial Unicode MS),创建新的环境并安装所需的软件包。AnyText 还提供了在线演示,用户可以通过这个演示直接体验其功能。 此外,AnyText 的训练数据集为 AnyWord-3M,主要来源于互联网开
2,0310
AnythingLLM

AnythingLLM

一个具有高度定制化和隐私控制的聊天型人工智能,适用于各种规模的企业。它提供细粒度的多用户权限控制,可访问聊天记录等功能。同时,该系统兼容多种数据类型,如PDF、Word文档等,可进行与企业相关的各种数据操作。另外,AnythingLLM支持自定义模型,包括GPT-4、自定义模型以及像Llama、Mistral等开源模型。除此之外,用户还可以进行外部数据导入,并具备灵活的第三方控制和开源支持等特点。 功能点总结: 1. 高度定制化:适用于各种企业规模 2. 隐私控制:保护数据隐私,确保数据不离开用户实例 3. 多用户权限控制与安全:细粒度权限设置,符合合规要求 4. 数据兼容性:支持多种文档类型,如PDF、Word文档等 5. 自定义模型支持:不局限于单一提供商,可以使用企业模型或开源模型 6. 外部数据导入:用户可以上传PDF、Word文档等,拓展聊天机器人的知识库 7. 第三方控制与开源支持:自由选择第三方供应商,支持开源软件,提供透明性和定制化 8. 完整API支持和外观定制:提供全面的开发者API,外观可定制化 希望这能对您有所帮助。如果您有其他问题或需要进一步的解释,请告诉我。
2,0210
Shap-E

Shap-E

Shap-E是一种用于3D资产的条件生成模型。与最近对产生单一输出表示的3D生成模型的研究不同,Shap-E直接生成隐式函数的参数,这些参数可以呈现为纹理网格和神经辐射场。我们分两个阶段训练Shap-E:首先,我们训练一个编码器,将3D资产确定性地映射到隐式函数的参数中;其次,我们在编码器的输出上训练一个条件扩散模型。当在配对3D和文本数据的大型数据集上训练时,我们的生成模型能够在几秒钟内生成复杂多样的3D资产。与点云上的显式生成模型Point-E相比,Shap-E收敛速度更快,尽管建模了更高维的多表示输出空间,但仍能达到相当或更好的样本质量。
2,0110
anytext

anytext

阿里达摩院发布的AnyText项目看起来非常出色,它能够生成与原始图片风格相融合的文字,或者对图片中的文字进行修改,同时支持中文! AnyText项目包括两个核心模块:一个潜在特征模块和一个文本嵌入模块。潜在特征模块使用文本字形、位置和蒙版图像等输入,生成用于文本生成或编辑的潜在特征。文本嵌入模块则利用OCR模型将笔画数据转化为嵌入,再与来自标记器的图像标题嵌入相结合,生成能够与背景无缝融合的文本。 为了提高书写的准确性,AnyText采用了两种损失函数进行训练:文本控制扩散损失和文本感知损失。
2,0110
LLaVA

LLaVA

LLaVA是一个大型多模态模型,旨在实现通用视觉和语言理解。它端到端训练,可以理解文本和图像,并在聊天中灵活运用这些信息。LLaVA在多模态指令跟随数据集上与GPT-4表现相似,相对分数达到85.1%。在Science QA上,其准确率达到92.53%。LLaVA模型将预训练的视觉编码器(CLIP ViT-L/14)与大型语言模型(Vicuna)通过简单投影矩阵连接。训练分为两个阶段:阶段1只更新投影矩阵,基于CC3M子集进行特征对齐预训练;阶段2更新投影矩阵和大型语言模型进行端到端微调,适应日常用户导向应用和科学问答场景。
2,0010
Khoj

Khoj

Khoj是一个开源AI个人助手,通过分析您的个人文本或图像数据来提供服务。您可以选择自行托管Khoj,并开始进行搜索、与您的文档、Markdown、PDF笔记进行交互。Khoj致力于帮助您更有效地利用您的数据。 目标用户: 需要管理和搜索个人知识库的人群,希望通过与组织、Markdown、PDF笔记进行交互来提高工作效率的人群。 产品优势: 1. 快速且准确的语义搜索 2. 与各类文档、Markdown、PDF笔记的交互功能 3. 自定义插件扩展功能,满足用户个性化需求
1,9810