Yzw202011/OmniSpace

这不是又一个 AI 玩具 —— 这是一个完整的、工程化的、可落地的本地 AI 创作平台。

启动页 · 点火序列 HUD（环境自检 → 后端服务 → 模型预热 → 就绪）

🎬 ▶️ 观看演示视频 —— AI 生成漫剧成片（11 秒）

AI 对话 · 本地多模态推理 / 流式输出 / 深度思考	AI 绘画 · FLUX.2 Klein 本地文生图 / 多比例出图
出图效果 · 2688×1536 高清成图	漫剧创作 · 从剧本到成片的工作台
分镜编辑器 · 角色/场景/道具资产 + 四视图一致性	知识学习 · AI 自主学习 + 知识库 RAG
模型管理 · 本地模型装载 / 显存监控 / 就绪体检	个性化 · 双主题族 × 亮暗模式
系统日志 · 大白话事件时间线 + 异常聚合	帮助中心 · 功能总览 + 新手五步上手

• 参考图角色一致性：角色参考图锚定跨格统一（角色 LoRA 当前接入漫剧关键帧链；漫画分格链接入见未完成清单）
• 四视图生成：角色设定图一键出三视图/四视图
• AI 写分格：从剧本文本自动划分漫画格（2/4/6/8/12 格可选）
• 台词气泡五形：💬对话 / 🎬旁白 / 💭思考 / 💥喊叫 / 🤫低语 五种形状一键切换，拖拽定位 + 把手拉伸宽度，导出成册同步烘入
• 资产库：角色 / 场景 / 道具三页签，支持上传与 AI 生成、批量删除、SAM AI 抠图
• 大图预览：分格图与资产卡单击放大灯箱、右击直接下载原图
• 整页导出与阅读预览：PNG 长图 / PDF 每格一页 / PDF 2×2 拼版

• 分镜编辑器：剧情 → 分镜 → 资产 → 关键帧 → 视频 → 成片全链路，五步工序条实时联动
• 多角色一致性：跨镜形象统一（双硬锁并发保护 + 角色 LoRA 身份锁）
• 上游变更过期标记：改描述词 / 换画风 / 更新资产后，受影响的旧图自动亮「已过期」角标，一键批量重生成
• 视频生成：主力 MiniMax H3 多镜链式生成（本地 ComfyUI 推理），Wan2.2-ti2v-5b 图生视频补档；视频队列排队/取消/进度可视
• 生成记录：图片与视频双页签，成功/失败/耗时/模型/seed 全字段留痕，失败一键重试
• 镜头语言结构化：A/B/C 三段式提示词 + 中文导演运镜 + 台词行 + AI 提示词自定义注入
• 风格包：30 个预置视频/画风风格包，一键套用，自定义风格包导入
• 资产库管理：角色、场景、道具系统化管理（描述词生成/AI 抠图/音色绑定/转全局跨项目复用）

• 多引擎本地对话（vLLM / llama.cpp GGUF / Transformers，按显存自动路由）
• 流式输出（WebSocket 实时帧推送），打字机效果
• 深度思考双通道（推理过程与正文分离呈现）
• 上下文记忆 + 知识库 RAG（可调温度 / 上下文长度，随模型能力自动适配附件入口）
• 图片（多图对比理解）与文档（txt/md/docx/pdf）上传，插件技能即焚注入
• 排队不秒拒、自动降级明示（装不下的模型自动换档并提示）
• 会话管理：重命名/置顶/搜索/批量删除/消息评分反馈

• 篇幅规划三参数：计划章数 / 每章目标字数 / 卷数——大纲出纲与正文生成真实吃参数（附快捷档一键填）
• 降AI味文风三档：标准 / 拟真·轻 / 拟真·重（低频词、禁模板比喻、情感层次、句长错落、人物语气区分），同章可对照
• AI 大纲树：灵感 → 卷/章细纲，逐节点可改可删，重新生成带覆盖确认
• 生成未完成章节：批量补缺不覆盖已完成，队列可视可取消
• 角色 / 伏笔 / 世界观：AI 设计角色吃补充要求、伏笔烂尾预警、世界观导入知识库联动正文
• 整本导出 TXT / MD，批量删除作品

• 文档 / 图片自动向量化入库（多道入库质检闸）
• RAG 检索增强生成（向量 + FTS5 全文 + RRF 融合）
• 知识图谱可视化，知识库批量删除 + 图片知识管理
• 浏览器代理自主上网学习（AI 控制 ↔ 用户接管即时切换）
• 学习分析报表：效率/来源/趋势/主题对比，实时轮询刷新
• 学习配额可设置：知识库容量上限自定义，接近上限预警
• 行为学习微调（操作偏好沉淀，手动触发）

• TTS 文字转语音（Windows SAPI5 本地语音）+ Whisper 本地语音识别
• 自定义音色上传（wav/mp3/flac/m4a ≤20MB），已内置于漫剧配音链路
• AI 声音克隆为规划中功能（本地开源栈调研阶段）

• CuteMamen 包格式：自包含 tar.gz（manifest + 权重 + 三级记忆），支持纯数据档与含源码档
• 分级安全模型：出厂件（进程内·已审查）/ 用户纯数据（进程内）/ 用户含源码（子进程沙箱——超时硬杀、内存上限、崩溃不连坐后端）
• 导入链：AST 静态安检 + 大白话确认门 + 试装载 + 失败清场
• 信任徽章：三档可视化（蓝盾出厂/绿库纯数据/橙盾含源码）
• 产品接线：对话/小说/漫画三端技能插座（chat/novel/comic skill；出厂技能面为空——宁缺毋滥）、Rust 编译错误分类（演示件）

• 新手引导 + 快捷键：十个功能页统一引导（首访自动弹 / 悬浮?随时重看）；Ctrl+K 全局搜索（七类目标一处搜）、Alt+数字切模块、Alt+N 新建对话
• 全局任务中心：跨模块任务统一排队 / 取消 / 进度（顶栏铃铛直达），通知历史留痕可回看
• 生成物文件库：图片 / 关键帧 / 视频 / 导出件一处浏览下载，灯箱预览
• 存储清理中心：磁盘占用盘点 / 白名单一键清理 / 备份文件管理
• 硬件健康中心：显存 / 内存 / 温度 / 磁盘四仪表三色预警 + 硬件自检（驱动版本 / 外部模型可达性）
• 操作审计日志：删除 / 导出 / 设置变更 / 云端连接 / 激活解绑全留痕可查
• 数据安全底座：备份加密（AES-GCM）+ 每日自动备份 + 断电自恢复（挂死任务清扫）+ 密钥保险箱（云端 Key 加密存放、日志与诊断包脱敏）
• 睡眠保护：生成 / 训练持锁期间自动阻止系统睡眠，结束即恢复
• 删除分级确认：轻 / 中 / 重三级模板（删什么 / 留什么 / 可否反悔三要素），全应用统一

OmniSpace/
├── src/               # 后端 + 内核统一扁平包（原 src/ + DistributedFormer 内核）
│   ├── api/               # 路由层（dialog / comic / manga / novel / learn / models …）
│   ├── services/          # 业务层 + 推理引擎 + 模型管理（含 Transformers 后端）
│   ├── engines/           # 资源层（GPU / VRAM / 内存管理）
│   ├── data/              # 存储层（DB / 向量 / 全文 / 图谱 / 加密）+ Rust 训练语料
│   ├── middleware/        # 横切层（错误处理 / 限流 / 互斥锁 / CORS）
│   ├── core/              # 内核层：DistributedFormer 脉冲主模型（CubeGPT）
│   ├── cutemamen/         # 内核层：CuteMamen 插件内核（路由/生命周期/三级记忆/包格式）
│   ├── codec/             # 内核层：脉冲 / 多模态编解码
│   └── training/          # 内核层：主模型 → 插件 知识迁移读出层
├── plugin/            # CuteMamen 插件包（.CuteMamen，自包含：manifest+权重+记忆）
├── frontend/              # React SPA
├── launcher/              # 启动守护进程（自检/端口/心跳/重启/启动页）
├── docs/                  # 完整文档（含 AGENTS.md / CLAUDE.md）
├── tools/                 # 构建与诊断脚本（第三方工具树不入库）
└── tests/                 # tests/unit 单元测试 + E2E 流程编排

• Windows 10/11
• NVIDIA GPU（≥ 16GB 显存 = 完整体验档；12GB = 降级体验档，自动走降级链）
• CUDA 12.x
• ≥ 50GB 磁盘空间（模型文件）

# 进入项目目录（公开仓库）
cd E:\OmniSpace

# 方式一：双击 启动OmniSpace.bat（免黑窗可用桌面快捷方式）

# 方式二：命令行启动（需先配置模型文件，详见部署手册）
runtime\py312\python.exe launcher\launcher.py

浏览器会自动打开 http://127.0.0.1:8765

端口说明：launcher 默认 --port 8765（冲突时先清理残留进程，再扫描 5800–5835 递进）； 开发模式直接跑 uvicorn 时用 config.yaml 里的 5800。

# 后端（端口 5800）
runtime\py312\python.exe -m uvicorn src.main:app --reload

# 前端（端口 5173，自动代理 API）
cd frontend
pnpm install
pnpm dev

公开仓库，仅协作开发。

1. 创建分支

   git checkout -b feature/你的功能名

2. 提交更改

   git commit -m "feat: 添加了什么功能"

3. 本地合并（自测通过后合回 main）

   git checkout main && git merge feature/你的功能名

想找容易上手的任务？关注以下方向：

• 前端 UI 细节优化（动画、交互、响应式）
• 后端 API 补充单元测试
• 文档翻译与润色
• 添加更多模型支持

• 后端：遵循 ruff.toml 配置，提交前跑 ruff check
• 前端：TypeScript strict 模式，遵循项目已有代码风格
• 提交信息：feat: / fix: / docs: / refactor: / perf: 前缀

项目处于持续开发中：以下清单只代表"到今天为止做了什么"，不代表"做完了"。 功能均可打磨，发现问题欢迎提 Issue / 直接动手修。

• 基础架构搭建（FastAPI + React）
• AI 对话模块（多引擎本地推理 + RAG 混合检索 + 排队与降级明示）
• AI 漫画模块（参考图一致性 / 角色 LoRA / AI 分格 / 台词气泡 / 整页导出 / 资产库 / SAM AI 抠图）
• 漫剧创作模块（分镜→资产→关键帧→视频链路已可跑通，MiniMax H3 链式生成主力）
• 写作台（小说/剧本创作，剧本直通漫画与漫剧）
• 知识学习与 RAG（ChromaDB + FTS5 + RRF 融合，图片知识入库，学习分析报表）
• 显存协调器（账本/准入/编排重构）与功能互斥锁（跨线程安全）
• 一键体检与自愈机制（8 项只读 + 27 项深度体检、错误出路指引、崩溃取证快照、自动备份）
• 可选云端 API 接入（文本 / 图像可用，自带 Key）
• 多主题族界面（含治愈系「Dali·风花雪月」六态主题）
• 模型性能基准与 LoRA 版本管理（BenchmarkCard / 版本对比/回滚）
• 风格训练控制（暂停/恢复/取消，epoch 检查点挂起不丢进度）
• 插件系统 P1/P2/P3（导入/启停/删除/子进程沙箱/AST 安检/漫剧快速预览）
• 系统运维底座（存储清理中心 / 硬件健康中心 / 操作审计 / 备份加密 / 断电自恢复 / 密钥保险箱）
• 全局任务中心 + Ctrl+K 全局搜索 + 生成物文件库
• 功能舱壁隔离 + 自愈阶梯 + 恢复指南 + 安全模式（单模块异常不连坐，自动修复失败给分步人话指南）
• 上游变更过期标记（描述词/画风/资产变更 → 旧产物自动亮灯 + 批量重生成）
• 新手引导系统（十页统一：首访自动 / 悬浮重看 / 可隐藏重启恢复）+ Alt 快捷键体系
• 删除分级确认规范（轻/中/重三要素模板全应用统一）
• 写作台增强（篇幅规划三参数 / 降AI味文风三档 / 作品批量删除）
• 漫画气泡五形形状库（对话/旁白/思考/喊叫/低语）
• 学习增强（分析报表实时轮询 / 知识库容量配额可设置）
• 通知历史中心（重要提醒弹完不丢，铃铛回看）
• 插件热重载 + 卸载残留报告

注：图生 3D（TripoSR）后端管线与 3D 导演台曾实现，后者已于 2026-08-29 裁定整链路剔除；/art 视觉工具端点后端保留。上表各项均为"可运行"状态，效果与稳定性仍在迭代。

• 联网搜索 v1（免费双通道：无头浏览器自搜 + SearXNG 自建）
• 模型下载管理器（/models/download 前端接线）
• 项目导入导出与备份恢复 UI
• 语音克隆本地实现（开源栈调研中）
• 多显卡实机验证

• OSP↔内核插件实例合流（单实例双面服务）
• 多人协作创作
• 社区素材共享平台
• Linux / macOS 支持
• 更多模型生态接入

💡 有想法？直接在团队内部讨论！ 我们非常欢迎新的创意和建议。

版权所有 © 2026 OmniSpace。保留所有权利（All Rights Reserved）。

本项目仅供学习使用，商业授权请+Q 3559331368。

本项目为半开源软件，未经授权不得复制、分发、反向工程或二次开发，仅供学习，未经授权不得商业行为（除非成为技术合伙人共同开发）。正式商业授权协议（EULA）随发行版提供。