txai-dev/yu-zhi-ran
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
146 Commits 1 Branch 4 Tags
80023bbd6ca86c4a4473ff6037835c2aa9eff8c5
Commit Graph

46 Commits

Author SHA1 Message Date
Yuzhiran Dev f94e6b0161 fix: correct subprocess script path and add TaskLog for trends trigger 2026-05-26 11:32:34 +08:00
Yuzhiran Dev ac8644d752 fix: content quality, image format, task monitor, calendar data source, search UI & sort 2026-05-26 11:26:10 +08:00
Yuzhiran Dev b2d043b231 新增用户管理/角色管理/菜单管理功能，修复创作流水线研究脚本 
- 用户管理：新增编辑弹窗（修改用户名/角色/密码），增加组织/创建时间/最后登录列
- 角色管理：新增 Role 模型 + CRUD API，admin.html 新增角色管理 tab
- 菜单管理：新增 Menu 模型 + CRUD API，导航栏从 API 动态加载菜单项
- 个人中心：右上角下拉菜单（个人信息/修改密码/退出），新增修改密码 API
- 种子数据：initial_data.py 自动创建默认角色（admin/editor）和默认菜单（7项）
- 修复 research.py 缺少 enrich_topic_research 函数导致导入失败
- 修复 db_helper.py 中 generated_at 条件导致重创作不更新时间戳
- admin.html 操作列加宽防止按钮换行，平台配置增加删除按钮
- articles.html 预览弹窗加 lock-scroll=false 防止页面尺寸跳动
 2026-05-22 18:34:27 +08:00
Yuzhiran Dev 1855f190f5 配置全面迁移数据库：PromptConfig、TaskConfig动态调度、敏感词/清洗规则/趋势映射/平台标签/痛点模板全部可编辑 
- 新增 PromptConfig 模型 + API，支持提示词在线编辑（16条默认）
- 调度器动态读取 TaskConfig.schedule，admin 可调执行时间
- 新增 KeywordDomainMap、SensitiveWord、ContentCleanRule、TrendFieldMapping 表
- DOMAINS、TREND_DOMAIN_MAP、PLATFORM_TAGS、china_pains、RSS关键词、priority_weights 全部迁移到 DB
- tasks.html 重构：卡片网格+配置/产出/历史/提示词四个Tab，折叠显示
- 清理冗余代码：DEFAULT_PROMPTS死代码、collector.py unreachable代码、compliance_checker bug
- strip_thinking_html 改用 DB 规则优先
 2026-05-22 11:18:23 +08:00
Yuzhiran Dev 4e10cc95d3 清理 tasks.py 死代码 2026-05-21 10:21:45 +08:00
Yuzhiran Dev 9178f436b2 任务页面全面改版: 模块输入/输出/历史详情抽屉 
后端新增:
- GET /api/tasks/modules/{module_id}/detail
  每个模块返回: inputs(自动填充的参数)、outputs(格式化产出结果)、
  history(今日运行记录)、log_excerpt(日志原文)

前端重构 tasks.html:
- 上半: 定时任务模块卡片网格(与仪表盘风格统一)
- 点击卡片→右侧抽屉展示3个tab:
  📥 输入参数: 搜索词/类别/待处理数量等(自动填充)
  📤 产出结果: 表格/标签/评分/建议等(按类型格式化)
  📋 运行记录: 日志原文+时间轴
- 底部保留创作任务列表(分页/筛选/详情)
- 抽屉底部立即运行按钮
 2026-05-21 10:18:21 +08:00
Yuzhiran Dev 5037d5d0ed 流水线整体前移1.5h,凌晨5点前全部就绪 
01:00 search → 01:10 trends → 01:30 collect
→ 02:00 create → 03:00 review
→ 05:00 optimize_sources → 06:00 metrics

各间隔: 10min/20min/30min/60min/2h/1h
采集到创作30min缓冲足够(采集≈5-15min)
 2026-05-21 10:04:41 +08:00
Yuzhiran Dev 56293a52a2 打通流水线闭环: trends+metrics+optimize_sources → collector 
三大数据流精准注入采集器:

1. 热点趋势(trends) -> collector
   _get_trend_context() 读取 trends.json
   热搜注入 LLM 选题 prompt

2. 历史表现(metrics) -> collector
   scheduler 同步指标后按field聚合写入 feedback.json
   collector 读取后高互动领域获优先级提升

3. AI策略(optimize_sources) -> collector
   从 DB SystemConfig 读取 AI 建议注入 prompt
 2026-05-21 09:48:38 +08:00
Yuzhiran Dev 6b790e77f6 全线异步化: 所有手动触发任务不再阻塞uvicorn worker 
每个模块提供两个版本:
- run_xxxx() → Popen非阻塞(给API用)
- run_xxxx_blocking() → subprocess.run阻塞(给定时任务用)

API端点全部改为立即返回XX已后台启动,不再等子进程完成

受影响端点:
  /generate/run (原30min→12ms)
  /review/run (原10min→12ms)
  /collect/run (原5min→12ms,已修复)
  /optimize-sources/run (原2min→12ms)
  /trends/run (原2min→12ms)
  /refresh-search-cache/run (原10min→12ms)
  /metrics-sync/run (原N×10s→12ms)

同时增加对应GET状态端点:/collect/status,/generate/status,/review/status
 2026-05-21 09:20:13 +08:00
Yuzhiran Dev 6f81167691 联网搜索能力集成: opencode webfetch → 采集器 
新增:
- scripts/opencode_search.py: 通过 npx opencode run 调用 webfetch 联网搜索
- 搜索缓存每日 02:30 自动刷新 (scheduler)
- 管理后台「搜索缓存」模块 + 立即运行按钮
- POST /api/system/refresh-search-cache/run 手动触发端点
- 8个分类搜索词从sources.yaml读取，调用AI联网搜索真实内容

机制:
  Python脚本 → npx opencode run → AI webfetch → 真实搜索结果 → 写入search_cache.json
  → 采集器读缓存 → LLM基于真实数据生成选题

不再需要API Key,不依赖任何搜索引擎,搜索结果来自AI的webfetch能力
 2026-05-21 09:01:02 +08:00
Yuzhiran Dev c8bee712d7 Phase3: 三平台封面图生成 
- cover_generator.py: Pillow生成知乎/微信/小红书封面图（渐变背景+标题）
- 知乎 1200×630 蓝调, 微信 900×500 绿调, 小红书 1080×1440 红调
- creator.py 流水线增加 cover_generator 作为最终回退
- db_helper.py 新增 save_cover_to_article
- main.py 挂载 /automation/images 静态目录
- articles.py preview 接口返回 images 字段
- topics.html 预览dialog展示封面图
 2026-05-20 19:12:58 +08:00
Yuzhiran Dev 40a77cad2c Phase2: 真实热点数据接入 
- trends.py新增百度/微博/知乎实时热搜API抓取，LLM为fallback
- 新增 source 字段标记数据来源
- scheduler.py新增 scheduled_fetch_trends 每日03:00定时刷新
- system.py新增 POST /api/system/trends/run 手动触发端点
- system.py modules/status 加入热点趋势模块
- index.html triggerModule 加入 trends 触发按钮
 2026-05-20 19:07:35 +08:00
Yuzhiran Dev 09da2f9dc4 Phase1: 效果数据真实化 
- 替换scheduler.py中假随机数metrics_sync为知乎API自动获取
- 新增 POST /api/metrics/zhihu-fetch 知乎公开数据API端点
- metrics.html新增「数据录入」tab：手动录入表单+已有数据列表+知乎自动获取
- gitignore清理已跟踪的生成文件(outlines/research/images/cache)
 2026-05-20 19:04:35 +08:00
Yuzhiran Dev 0a8fbda4fd Fix calendar filter, module triggers, API cleanup, consolidate get_current_admin, fix LLM schema 2026-05-20 14:15:00 +08:00
Yuzhiran Dev 498165440f Add platform config website_url, admin tab, fix writer DB config fallback, add trigger endpoints 2026-05-20 09:38:56 +08:00
Yuzhiran Dev 671cec58fa Fix preview platform switching, add stale task cleanup on startup 2026-05-18 23:38:30 +08:00
Yuzhiran Dev 894e53caef Add intermediate progress update for running tasks 2026-05-18 22:41:31 +08:00
Yuzhiran Dev f427aea1b3 Fix task status stuck at 'running': use new DB session in thread, add frontend auto-polling 2026-05-18 22:37:59 +08:00
Yuzhiran Dev a09e7e6671 Add pagination to admin management tabs (cases/categories/sources/orgs) 2026-05-18 19:18:09 +08:00
Yuzhiran Dev 41b0f694ee feat: 平台配置表扩展配图/字数字段，微信公众号正文插入配图，合规检查从DB读规则 
- PlatformConfig模型新增requires_image、image_count_min/max、image_width/height、min_words/max_words
- schemas.py同步PlatformConfigBase/Create/Update/Response新字段
- initial_data.py为三大平台填充初始值（微信需配图、字数800-1500等）
- database.py添加新列ALTER TABLE迁移
- platforms.html重写编辑弹窗（正确字段名+配图/字数设置）
- writer.py微信公众号文章正文h1后插入<img>占位
- compliance_checker.py接受platform_config参数，从DB读取规则替代硬编码
- compliance_optimizer.py启动时加载DB平台配置传入checker
 2026-05-17 23:08:43 +08:00
Yuzhiran Dev dc531460ea fix: 小红书文章无正常内容（LLM推理文本污染）、模块列表不匹配、脚本独立运行缺org_id列迁移 2026-05-17 22:52:05 +08:00
Yuzhiran Dev eb472d232e fix: 仪表盘概览标题颜色过浅改用CSS变量；模块状态列表从3个扩展至6个与定时任务数匹配 2026-05-17 17:01:14 +08:00
Yuzhiran Dev 9c37c9a574 feat: Phase 4 多租户隔离 + 四阶段升级测试 + CSS 统一化 
Phase 4: org_id 注入 JWT/API 过滤/组织管理 CRUD/前端组织列
测试: tests/test_phase_upgrades.py 97项全覆盖
CSS: theme-modern.css 共享 mobile-card-list/status-dot/search-bar 等模式
修复: initial_data.py LLM配置 NOT NULL 约束, TopicResponse 含 org_id
 2026-05-17 06:56:53 +08:00
Yuzhiran Dev fef435cc78 feat: 审查流程优化+采集定时调度+全链路LLM提示词升级 
- 审查：移除 manual_review，改为迭代LLM修复(最多3次)，合规分回写Topic
- 调度：scheduler 新增话题采集定时任务 scheduled_collect (01:30)
- 提示词：全链路8文件≈24个提示词升级，增强SEO/平台推荐/真人感
 2026-05-14 21:52:02 +08:00
Yuzhiran Dev 233e23016c feat: 内容数据迁移至数据库，合规审查全链路打通 
- 文章 HTML 存储从文件系统迁移至 articles 表，删除 releases 目录
- 合规审查从 DB 读取 HTML，审查结果写回 DB，通过后自动推进至待发布
- 新增 todayCount 筛选按钮，与系统概览统计数据一致
- 全屏预览修复：提升 z-index 超过侧边栏，添加退出全屏/关闭按钮
- 统一 '优化' → '审查' 命名，消除前后端术语不一致
- 调度器创作完成后自动触发审查（生成 → 审查 → 待发布）
- 清理旧备份/调试文件、过期大纲和研究笔记
 2026-05-13 17:33:56 +08:00
lt 25694db33b chore: 清理未使用的代码文件和备份 
- 删除 backend/main.py (已由 app/main.py 替代)
- 删除 backend/api/ 和 backend/core/ (已由 app/api/ 和 app/core/ 替代)
- 删除 backend/static 符号链接
- 删除前端测试/调试页面
- 删除未引用的 vendor 子目录 (element-plus/, vue/, axios/)
- 删除所有 .bak 备份文件
 2026-05-09 19:43:49 +08:00
lt 71cb4c35a8 chore: 清理 Docker 相关文件并优化前端布局 
- 删除 Docker 相关文件 (docker-compose, Dockerfile, nginx.conf, init.sql 等)
- 优化 platforms.html 卡片布局和响应式样式
- 优化 users.html 格式和移动端卡片设计
- 优化 admin.html 页面结构和表格布局
- 修复各页面 min-height 和溢出问题
- 更新导航组件样式
 2026-05-09 19:41:59 +08:00
lt e77a1aa4d9 fix(metrics): 修复 recommend-topics API 错误处理 
- 添加 try-except 捕获空数据导致的聚合查询错误
- 添加 logging 导入用于错误日志记录
- 修复 avg_engagement/max_views 类型转换问题
- 新增 test_full_api.py 全功能测试脚本
- 所有 29 项 API 测试通过 (100%)
 2026-05-08 23:53:55 +08:00
lt 526278589b feat: 完善前端页面 - 新增数据分析、素材库、创作任务、平台配置页面 
- 新增 metrics.html: 数据分析页面 (Dashboard, 趋势图, 平台对比, 选题推荐)
- 新增 assets.html: 素材库页面 (上传/管理/预览/标签)
- 新增 tasks.html: 创作任务页面 (任务列表/进度/详情)
- 新增 platforms.html: 平台配置页面 (知乎/微信/小红书格式规则)
- 更新导航组件: 添加新页面入口, 适配 H5 底部导航
- 修复 calendar.html: 使用本地 Vue/ElementPlus 资源
- 修复 assets.py: db.func.count -> sqlalchemy.func.count
- 新增 test_api_unit.py: 后端 API 单元测试
- 新增 test_frontend.sh: 前端页面完整性测试

PC/H5 双端适配, 所有页面统一使用 navbar + navigation 组件
 2026-05-08 23:35:26 +08:00
lt cf5103bbca feat: 全面升级项目架构 - PostgreSQL迁移 + 配置化改造 
主要变更:
- 数据库: SQLite → PostgreSQL (yzr_nr)
- 选题系统: 硬编码字段 → 配置化 (TopicField/TopicConfigField/TopicStatusConfig)
- 新增模型: ContentCalendar, ContentMetrics, MediaAsset, PlatformConfig, ContentTask
- 新增 API: topic-config, calendar, metrics, assets, tasks, platform-config
- 数据迁移: 现有选题数据迁移到新 schema (field_id/tags/custom_data/scoring_data)
- 初始化数据: 10个领域, 5种状态, 3个平台配置

服务运行: http://localhost:8001
默认账号: admin / admin123
 2026-05-08 18:26:01 +08:00
lt 284b18e5fc feat: 添加自动化数据目录与可持续性主题数据集 2026-05-08 09:26:46 +08:00
lt df5a9db3ad feat: 管理员页面整合与侧边栏导航优化 
- 完成系统管理页面与导航整合
- 在 users.html/topics.html/logs.html 侧边栏与移动导航添加系统管理入口
- 创建 admin.html 管理页面（案例/任务日志/LLM配置/系统配置）
- 新增核心模块：collector.py（数据采集器）、scheduler.py（任务调度器）
- 新增脚本：collector_db_integration.py（采集器数据库整合）
- 更新项目文档并验证路由注册
 2026-05-08 09:26:06 +08:00
lt 31d6306e3b feat: 数据源统一与前端预览修复 
=== 后端核心 ===
- db_helper: 统一数据库访问抽象层
- system.py API:
  * 参数绑定修复: 使用 Body(embed=True) 接收 JSON
  * 添加请求日志记录
- sync.py: 仅导出 DB→JSON（备份）

=== 合规与流水线 ===
- compliance_checker: 标签检测优化（仅检查容器，避免正文误判）
- 所有脚本（creator/collector/writer/outline/research等）统一使用数据库

=== 前端改版 ===
- topics.html:
  * 创作/优化 API 路径修正
  * 预览弹窗重设计：多平台并行加载、富文本显示、单复制按钮
  * 状态中文映射（getStatusLabel）
  * 认证检查
- 所有 HTML 静态资源路径修复（移除 /static 前缀）

=== 数据一致性 ===
- 数据库状态统一为英文（pending/review/ready/published）
- 前端显示中文化映射

已测试 A03 流水线完整通过。
 2026-05-07 11:25:42 +08:00
lt 8920a337e0 fix: 修复前端空白页与API调用错误，统一创作流程 
- 前端
  - topics.html: 恢复结构并修复Vue初始化问题
  - 调整创作按钮逻辑：仅已发布选题禁用
  - 修正API端点与payload格式（generate/optimizer/publishing使用topic_ids数组）
  - 移除ElementPlus图标模块依赖，使用全局构建
  - admin.html: 回退至Options API版本，解决this上下文错误
- 后端
  - 注册/api/generate/run路由
  - 简化generate逻辑：允许非已发布选题重创作，更新状态为“待审查”
  - 统一logs查询接口支持query参数
  - 修复admin用户管理字段引用
  - 系统概览返回{ stats }结构
- 静态资源整理
  - 删除冗余element-plus-icons、重复CSS/JS、图标文件
  - 正确放置Vue和ElementPlus全局文件
- 数据库与数据
  - 补充30个案例
  - 更新选题状态与初始数据

验证：所有页面可访问，API认证与端点正常工作。
 2026-05-06 21:44:56 +08:00
lt 53c3948cad feat: 增加案例/任务日志/LLM配置/系统配置管理功能\n\n- 扩展案例数据至30个\n- 新增Case, TaskLog, LLMConfig, SystemConfig的API路由\n- 完善initial_data导入脚本\n- 创建前端管理页面admin.html，支持完整增删改查\n- 更新导航菜单，增加系统管理入口 2026-05-02 09:13:44 +08:00
lt 511d40d40c feat: add Case, TaskLog, LLMConfig, SystemConfig models 2026-05-01 22:56:06 +08:00
lt bdcf32dce8 feat: add Case, TaskLog, LLMConfig, SystemConfig models 2026-05-01 14:33:00 +08:00
lt aa76f8203f optimize: refine LLM prompts for conciseness and reduce verbosity; reduce max_tokens to 1000 2026-05-01 11:53:02 +08:00
lt 601fc5d239 refactor: remove publisher, add auto DB sync, clean backups, update docs 2026-05-01 10:05:50 +08:00
lt cfb60d7aae UI优化完善初版 2026-05-01 06:48:21 +08:00
lt e1ba31afda 版本1.0.4 - 发布前准备 
- 修复system.py缩进错误
- 优化前端页面样式（待重构）
- 改进API接口结构
- 完善文档和自动化脚本
- 平台基本功能稳定运行
 2026-04-29 09:32:43 +08:00
lt 5fe426fc90 feat: 全面优化前端架构 
- 本地化所有资源 (Vue3, Element Plus) 无需外部 CDN
- 重新设计主页：登录页 + 系统概览 + 侧边栏导航
- 完善管理后台功能：选题管理、系统日志、用户管理
- 全面支持 PC 和 H5 移动端（响应式布局 + 底部导航）
- 优化后端 API 返回格式，兼容前端需求
- 默认首页为登录/系统概览页面
- 统计卡片可点击筛选选题列表
- 模块状态实时展示
 2026-04-27 15:14:26 +08:00
lt 277b13eaae feat: 完成布局优化 - 操作列固定、批量按钮自适应、分类标签带数量 
优化内容:
1. 表格布局:
   - 使用 calc(100vw - 160px) 确保表格不超出视口
   - 操作列 fixed='right' 固定在右侧，宽度 300px
   - 按钮 3 个后自动换行 (max-width: 200px)
   - 恢复合理列宽，不再过度压缩

2. 批量操作区域:
   - 容器改为 inline-block，宽度自适应按钮内容
   - 背景宽度与按钮总宽度匹配

3. 分类标签:
   - 显示数量 (如 '待处理 (20)')
   - 点击切换筛选，去掉误导的 'X' 图标

4. 删除功能:
   - 操作列增加删除按钮
   - 删除前弹出确认对话框

5. 系统日志:
   - 修复后端日志路径 (parents[4])
   - 404 时显示友好提示

6. 其他:
   - 左侧菜单宽度 160px
   - 所有功能保留 (登录、用户管理、批量操作等)
 2026-04-27 11:32:17 +08:00
lt 379592a35d fix: 修复分类标签、删除按钮、日志 API 路径 - 保留操作列固定右侧设计 2026-04-27 11:00:11 +08:00
lt 2bd3c83cf5 feat: 宇之然平台 v2.0 - 完整重构版 
核心功能:
- 新增 JWT 认证系统，支持管理员登录/登出
- 前后端合并为单一 FastAPI 应用 (端口 8001)
- 系统概览页：6 个统计卡片，点击跳转筛选
- 选题管理页：批量操作 (刷新/创作/优化)，时间列展示
- 系统日志页：整合日志查看功能
- 用户管理页：管理员可创建/删除用户
- 移动端适配：响应式布局，底部导航栏
- 标题居中显示

技术改进:
- 添加 generated_at 字段支持创作时间记录
- 状态更新时自动同步 updated_at
- 所有 API 路由添加 JWT 认证保护
- 前端 authFetch 封装自动附加 Token
- 升级 FastAPI 0.136, Pydantic 2.13 等依赖

修复:
- 修复 API 500 错误 (数据库列缺失)
- 修复 formatRelativeTime 未定义错误
- 修复登录 Token 存储和自动附加逻辑
 2026-04-27 10:01:33 +08:00
lt 3cb2df51c8 Initial commit: yu-zhi-ran platform with automation integration 2026-04-19 14:05:09 +08:00