fnvtk/users
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

chore: 以本地为准，上传全部并替换 GitHub

Browse Source
This commit is contained in:
卡若
2026-02-03 11:36:53 +08:00
parent 1219166526
commit b404bf546e
131 changed files with 37618 additions and 3930 deletions
Download Patch File Download Diff File Expand all files Collapse all files

119
.apm/conversation-log.md Normal file
View File

@@ -0,0 +1,119 @@
# 📝 神射手对话记录
> 本文档记录项目开发过程中的重要对话和决策。
---
## 2026-01-31 17:00 项目管理初始化
### 讨论要点
- 用户要求使用 dev-template-project-manager skill 来管理项目
- 需要创建神射手专属的项目管理工作区
- 要求搜索GitHub类似CDP项目并提取核心代码
- 需要生成项目架构图
### 决策
1. 创建 `.apm/` 项目管理工作区
2. 参考 Tracardi、Crowd.dev 等开源CDP项目
3. 生成完整的系统架构文档
### 执行动作
- [x] 创建 `.apm/project-state.md`
- [x] 创建 `.apm/execution-table.md`
- [x] 创建 `.apm/docs/architecture.md`
- [x] 搜索GitHub CDP项目
### 任务变更
- T021: 项目管理工作区 → ✅ Done
- T023: GitHub项目调研 → ✅ Done
- T024: 项目架构图 → ✅ Done
---
## 2026-01-31 16:30 深度优化完成
### 讨论要点
- 用户要求一个个板块深度优化
- 所有功能需要使用真实数据库内容
- 整个界面需要优化更简洁
- 使用卡若AI的进度管理来管理项目
### 决策
1. 逐模块检查并确保使用真实数据
2. 为数据血缘、人群圈选创建新API
3. 优化标签统计性能（$sample采样）
### 执行动作
- [x] 数据血缘API `/api/database-structure`
- [x] 人群圈选API `/api/crowd-pools`
- [x] 标签API采样优化
- [x] 流量包API字段修正
- [x] 前端页面动态数据加载
### 任务变更
- T015-T019: 各API → ✅ Done
- 完成度从75%提升到85%
---
## 2026-01-30 需求确认
### 讨论要点
- 确认五大模块结构：数据概览、数据接入、标签画像、AI Agent、数据市场
- AI Agent需保持五个子导航
- 渠道配置需要详细步骤
- 人群圈选参考抖音巨量引擎
### 决策
1. 恢复AI Agent五个子导航
2. 渠道配置增加飞书/企微详细步骤
3. 人群圈选改为项目+流量池二级结构
### 关键代码变更
- `app/ai-agent/channels/page.tsx` - 详细配置步骤
- `app/tag-portrait/crowd/page.tsx` - 重构为项目视图
---
## 2026-01-31 18:00 外部集成完成
### 讨论要点
- 用户要求继续完成剩余任务
- 飞书机器人集成
- 系统监控优化
### 决策
1. 创建渠道对接API `/api/channels`
2. 创建系统监控API `/api/monitoring`
3. 优化监控页面使用真实数据
### 执行动作
- [x] 创建 `/api/channels` - 飞书连接测试、群列表、消息发送
- [x] 创建 `/api/monitoring` - 数据库状态、健康检查、告警、指标
- [x] 优化 `/monitoring/page.tsx` - 接入真实API
### 任务变更
- T025: 渠道对接API → ✅ Done
- T026: 系统监控API → ✅ Done
- T027: 监控页面优化 → ✅ Done
- 完成度从90%提升到95%
---
## 关键提示词存档
### 用户查询模式
```
"查询 13407000001" → 手机号查询
"28533368 qq" → QQ号查询
"查钻石用户" → 流量池查询
"RFM分析" → 用户分析
```
### 项目规范
```
- 使用苹果毛玻璃风格
- MongoDB采用$sample采样优化
- 用户估值使用 user_evaluation_score 字段
- 前端使用 Radix UI + TailwindCSS
```

231
.apm/docs/architecture.md Normal file
View File

@@ -0,0 +1,231 @@
# 🏗️ 神射手系统架构图
> 📅 更新: 2026-01-31
> 🎯 版本: v1.3.0
---
## 一、系统总览
```
┌─────────────────────────────────────────────────────────────────────────────┐
│ 神射手数据中台 v1.3 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 数据概览 │ │ 数据接入 │ │ 标签画像 │ │ AI Agent │ │
│ │ 首页AI对话 │ │ 数据源管理 │ │ 标签管理 │ │ 渠道配置 │ │
│ │ 数据统计 │ │ AI标签引擎 │ │ 用户画像 │ │ AI打标 │ │
│ │ │ │ 清洗规则 │ │ 人群圈选 │ │ AI清洗 │ │
│ │ │ │ 任务调度 │ │ 流量池 │ │ 智能报告 │ │
│ │ │ │ 数据血缘 │ │ │ │ │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │
│ │
│ ┌─────────────┐ │
│ │ 数据市场 │ │
│ │ API服务 │ │
│ │ 流量包管理 │ │
│ └─────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
```
---
## 二、技术架构
```
┌─────────────────────────────────────────────────────────────────────────────┐
│ 客户端层 │
├─────────────────────────────────────────────────────────────────────────────┤
│ 浏览器 (Web) │ 飞书机器人 │ 企业微信 │ API调用方 │
└────────┬──────────┴────────┬────────┴───────┬───────┴──────────┬────────────┘
│ │ │ │
▼ ▼ ▼ ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ 网关层 │
├─────────────────────────────────────────────────────────────────────────────┤
│ Next.js 14 (localhost:3001) │ FastAPI Gateway (卡若AI) │
│ - 前端页面 │ - /feishu/events │
│ - /api/* 接口 │ - /wecom/callback │
│ - SSR渲染 │ - /shensheshou/* │
└────────┬────────────────────────────────┴──────────────────────┬────────────┘
│ │
▼ ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ 服务层 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌───────────────────┐ ┌───────────────────┐ ┌───────────────────┐ │
│ │ 用户查询服务 │ │ 标签引擎服务 │ │ AI对话服务 │ │
│ │ - 手机号查询 │ │ - RFM计算 │ │ - 意图识别 │ │
│ │ - QQ号查询 │ │ - 用户分级 │ │ - 数据拆解 │ │
│ │ - 智能搜索 │ │ - 标签生成 │ │ - 画像输出 │ │
│ └───────────────────┘ └───────────────────┘ └───────────────────┘ │
│ │
│ ┌───────────────────┐ ┌───────────────────┐ ┌───────────────────┐ │
│ │ 流量池服务 │ │ 数据清洗服务 │ │ 报告生成服务 │ │
│ │ - 人群圈选 │ │ - 手机号格式化 │ │ - 日报/周报 │ │
│ │ - 流量包管理 │ │ - 数据去重 │ │ - AI分析报告 │ │
│ │ - 导出功能 │ │ - 质量评估 │ │ - 模板管理 │ │
│ └───────────────────┘ └───────────────────┘ └───────────────────┘ │
│ │
└────────┬────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ 数据层 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ MongoDB (localhost:27017) │ │
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │
│ │ │ KR │ │KR_腾讯 │ │KR_微博 │ │KR_京东 │ │KR_存客宝│ ... │ │
│ │ │ 4.7GB │ │ 62.5GB │ │ 18.7GB │ │ 20.1GB │ │ 0.44GB │ │ │
│ │ │用户估值│ │QQ+手机 │ │UID+手机│ │ 消费 │ │用户资产│ │ │
│ │ └─────────┘ └─────────┘ └─────────┘ └─────────┘ └─────────┘ │ │
│ └─────────────────────────────────────────────────────────────────────┘ │
│ │
│ 总计: 26个数据库 | 20.13亿条记录 | 222GB存储 │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
```
---
## 三、数据流向
```
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ 数据源 │ ──▶ │ AI标签引擎 │ ──▶ │ 用户估值 │ ──▶ │ 流量池 │
│ KR_腾讯 │ │ 字段拆解 │ │ RFM计算 │ │ 人群分层 │
│ KR_微博 │ │ 数据清洗 │ │ 等级划分 │ │ 标签筛选 │
│ KR_京东 │ │ 标签生成 │ │ 画像合并 │ │ 流量包输出 │
│ KR_存客宝 │ │ │ │ │ │ │
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
│ │ │ │
│ │ │ │
▼ ▼ ▼ ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ KR.用户估值 (核心表) │
├─────────────────────────────────────────────────────────────────────────────┤
│ phone │ user_evaluation_score │ unified_tags │ traffic_pool │
│ phone_masked │ rfm_scores │ source_channels│ user_level │
│ name │ data_quality │ merge_evidence │ created_at │
└─────────────────────────────────────────────────────────────────────────────┘
```
---
## 四、API架构
```
/api/
├── ai-chat/ # AI智能对话
│ ├── GET → 获取状态
│ └── POST → 发送查询
│
├── data-sources/ # 数据源管理
│ ├── GET → 列表+统计
│ └── POST → 连接测试
│
├── tags/ # 标签服务
│ └── GET → 标签统计
│
├── portrait/ # 用户画像
│ └── GET → 画像查询
│
├── traffic-packages/ # 流量池
│ ├── GET → 池统计
│ └── POST → 创建流量包
│
├── crowd-pools/ # 人群圈选
│ └── GET → 项目/池/用户
│
├── database-structure/ # 数据库结构
│ └── GET → 血缘数据
│
└── monitoring/ # 系统监控
└── GET → 健康状态
```
---
## 五、GitHub参考项目
### 5.1 Tracardi CDP
- **仓库**: github.com/tracardi/tracardi
- **星数**: 621+
- **技术**: Python + FastAPI + Elasticsearch
- **可借鉴**:
- Profile合并算法
- 事件处理工作流
- 插件架构设计
### 5.2 Crowd.dev
- **仓库**: github.com/CrowdDotDev/crowd.dev
- **星数**: 3.3k+
- **技术**: TypeScript + PostgreSQL
- **可借鉴**:
- 社区数据整合
- 活跃度计算
- 成员画像
### 5.3 借鉴要点
| 功能 | 参考项目 | 核心代码 |
|------|----------|----------|
| 用户合并 | Tracardi | profile/merger.py |
| 事件追踪 | Tracardi | domain/event.py |
| 标签计算 | Tracardi | process/tagging.py |
| 活跃度 | Crowd.dev | services/member.ts |
---
## 六、优化方向
### 6.1 性能优化
```yaml
当前问题:
- 大表查询慢 (>10s)
- 内存占用高
解决方案:
- $sample采样 ✅ 已实施
- 索引优化
- 分页查询
- 缓存层
```
### 6.2 架构优化
```yaml
计划:
- 引入Redis缓存热点数据
- 分离读写库
- 增加消息队列(RabbitMQ)
```
---
## 七、部署架构
```
┌─────────────────────────────────────────────────────────────────────────────┐
│ 生产环境 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌───────────────────┐ ┌───────────────────┐ ┌───────────────────┐ │
│ │ Nginx反向代理 │ ──▶│ Next.js服务 │ ──▶│ MongoDB集群 │ │
│ │ SSL证书 │ │ PM2进程管理 │ │ Docker容器 │ │
│ │ 负载均衡 │ │ 端口:3001 │ │ 端口:27017 │ │
│ └───────────────────┘ └───────────────────┘ └───────────────────┘ │
│ │ │
│ ▼ │
│ ┌───────────────────┐ │
│ │ FastAPI网关 │ │
│ │ 飞书/企微回调 │ │
│ │ 端口:8000 │ │
│ └───────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
```

89
.apm/execution-table.md Normal file
View File

@@ -0,0 +1,89 @@
# 📋 神射手执行表
> 📅 更新: 2026-01-31
> 📊 总任务: 25 | 完成: 21 | 进行中: 3 | 待开始: 1
---
## 一、已完成任务 ✅
| ID | 任务 | 优先级 | 完成日期 | 交付物 |
|:---|:-----|:------:|:--------:|:-------|
| T001 | 项目初始化 | P0 | 01-29 | Next.js项目结构 |
| T002 | MongoDB连接 | P0 | 01-29 | lib/mongodb.ts |
| T003 | AI对话API | P0 | 01-29 | /api/ai-chat |
| T004 | 首页开发 | P1 | 01-29 | app/page.tsx |
| T005 | 数据源管理 | P1 | 01-30 | /data-ingestion/sources |
| T006 | 标签管理 | P1 | 01-30 | /tag-portrait/tags |
| T007 | 用户画像 | P1 | 01-30 | /tag-portrait/portrait |
| T008 | 人群圈选 | P1 | 01-31 | /tag-portrait/crowd |
| T009 | AI打标 | P1 | 01-30 | /ai-agent/smart-tag |
| T010 | AI清洗 | P1 | 01-30 | /ai-agent/data-cleaning |
| T011 | 智能报告 | P1 | 01-30 | /ai-agent/report |
| T012 | 渠道配置 | P1 | 01-30 | /ai-agent/channels |
| T013 | API服务页 | P2 | 01-30 | /data-market/api |
| T014 | 流量包管理 | P2 | 01-30 | /data-market/packages |
| T015 | 数据血缘 | P1 | 01-31 | /data-ingestion/lineage |
| T016 | 标签API采样优化 | P1 | 01-31 | /api/tags |
| T017 | 流量包API | P1 | 01-31 | /api/traffic-packages |
| T018 | 人群圈选API | P1 | 01-31 | /api/crowd-pools |
| T019 | 数据库结构API | P2 | 01-31 | /api/database-structure |
| T020 | 开发文档整理 | P2 | 01-31 | 开发文档/*.md |
| T021 | 项目管理工作区 | P2 | 01-31 | .apm/* |
| T022 | GitHub项目调研 | P2 | 01-31 | .apm/docs/architecture.md |
| T023 | 项目架构图 | P2 | 01-31 | .apm/docs/architecture.md |
| T024 | 流量包导出功能 | P2 | 01-31 | /api/traffic-packages |
| T025 | 渠道对接API | P1 | 01-31 | /api/channels |
| T026 | 系统监控API | P1 | 01-31 | /api/monitoring |
| T027 | 监控页面优化 | P2 | 01-31 | /monitoring/page.tsx |
---
## 二、进行中任务 🔄
| ID | 任务 | 优先级 | 开始日期 | 进度 | 阻碍 |
|:---|:-----|:------:|:--------:|:----:|:-----|
| T026 | 飞书机器人对接 | P1 | 01-31 | 40% | 需配置验证 |
---
## 三、待开始任务 ⏳
| ID | 任务 | 优先级 | 预计工时 | 依赖 |
|:---|:-----|:------:|:--------:|:-----|
| T027 | 企业微信对接 | P2 | 1天 | T026 |
| T028 | 系统监控优化 | P3 | 1天 | - |
| T029 | 冗余代码清理 | P3 | 0.5天 | - |
---
## 四、任务分布
```
按模块:
├── 数据概览: 2个 ✅
├── 数据接入: 5个 ✅
├── 标签画像: 4个 ✅
├── AI Agent: 4个 ✅
├── 数据市场: 2个 ✅
├── 外部集成: 3个 🔄
└── 项目管理: 2个 ✅
按优先级:
├── P0 (阻塞): 3个 ✅
├── P1 (核心): 12个 ✅ + 1个 🔄
├── P2 (重要): 6个 ✅ + 2个 🔄
└── P3 (增强): 1个 ⏳
```
---
## 五、里程碑追踪
| 里程碑 | 计划日期 | 实际日期 | 状态 |
|:-------|:--------:|:--------:|:----:|
| M1: 基础框架 | 01-29 | 01-29 | ✅ |
| M2: 核心功能 | 01-30 | 01-30 | ✅ |
| M3: 真实数据 | 01-31 | 01-31 | ✅ |
| M4: 外部集成 | 02-03 | - | 🔄 |
| M5: 正式上线 | 02-07 | - | ⏳ |

96
.apm/project-state.md Normal file
View File

@@ -0,0 +1,96 @@
# 🎯 神射手项目状态总览
> 📅 更新时间: 2026-01-31 18:00
> 🏷️ 版本: v1.4.0
> 📊 完成度: 95%
---
## 一、项目概要
```yaml
项目名称: 神射手数据中台
项目描述: 用户资产数字化中台，整合20亿+用户数据的查询、标签、画像和流量池管理
技术栈: Next.js 14 + Radix UI + TailwindCSS + MongoDB + Python FastAPI
部署环境: 本地开发服务器 localhost:3001
```
## 二、核心指标
| 指标 | 数值 | 状态 |
|------|------|------|
| MongoDB数据库 | 26个KR_*库 | 🟢 已连接 |
| 总用户数 | 20.13亿 | 🟢 正常 |
| 存储容量 | 222GB | 🟢 正常 |
| API延迟 | ~500ms | 🟡 待优化 |
## 三、模块完成度
```
[██████████] 数据概览 100% ✅
[██████████] 数据接入 100% ✅
[██████████] 标签画像 100% ✅
[██████████] AI Agent 100% ✅
[██████████] 数据市场 100% ✅
[██████████] 系统监控 100% ✅
[██████████] 飞书对接 100% ✅
```
## 四、当前里程碑
### 🎯 M3: 真实数据对接 (2026-01-31) ✅
| 任务 | 状态 | 负责 |
|------|------|------|
| 数据血缘API | ✅ Done | AI |
| 人群圈选API | ✅ Done | AI |
| 标签统计采样优化 | ✅ Done | AI |
| 流量池真实数据 | ✅ Done | AI |
| 用户画像真实查询 | ✅ Done | AI |
### 🎯 M4: 外部集成 (进行中)
| 任务 | 状态 | 负责 |
|------|------|------|
| 飞书机器人对接 | 🔄 进行中 | 待分配 |
| 企业微信对接 | ⏳ 待开始 | 待分配 |
| 微信CKB对接 | ⏳ 待开始 | 待分配 |
## 五、风险矩阵
| 风险 | 等级 | 应对措施 |
|------|------|----------|
| API响应慢(大表查询) | 🟡 中 | 已采用$sample采样 |
| MongoDB内存压力 | 🟢 低 | 分片查询 |
| 前端页面过多 | 🟡 中 | 统一组件 |
## 六、下一步行动
1. **高优先级**
- [ ] 飞书机器人配置验证
- [ ] 流量包导出功能
2. **中优先级**
- [ ] GitHub类似项目调研
- [ ] 架构图生成
3. **低优先级**
- [ ] 冗余页面清理
- [ ] 代码规范化
---
## 七、快速操作
```bash
# 启动开发服务器
npm run dev
# 测试API
curl http://localhost:3001/api/ai-chat
# 查询用户
curl -X POST http://localhost:3001/api/ai-chat \
-H "Content-Type: application/json" \
-d '{"message":"13407000001"}'
```