多源接入与采集汇聚
统一管理业务数据库、文件、API、IoT telemetry、第三方系统和人工资料来源。
- 数据源登记与接入策略
- 批量导入、分片上传、目录监听
- 网页抓取、CDC、任务重试与补偿
产品完成体
按大数据平台架构组织的功能体系
当前项目不是单一标注后台，也不是多个孤立系统拼装。完成体围绕数据全生命周期， 把接入、治理、资产、知识、服务和运营组织成可追溯闭环。
处理、质量与元数据治理
把清洗、标准化、质量校验、文档解析、OCR 和血缘记录纳入统一治理链路。
- 去重、转换、字段映射与规则校验
- 元数据抽取与 OpenMetadata 同步
- 质量阻断、规则版本和处理追踪
资产目录、检索与知识联动
建设可发现、可检索、可关联的数据资产目录，支撑资料和知识对象复用。
- 资产编目、目录树和详情视图
- 全文检索与语义搜索基础版
- 知识条目、标签关联和关系投影
标注审核与数据集闭环
保留多模态标注、质检、审核、数据集快照、版本、审批、授权和导出能力。
- 标签体系、任务分配和审核回流
- 数据集快照、发布申请和审批
- 导出包异步构建与签名下载
数据服务、交换与消费治理
面向内部系统和受控消费者开放 API、Webhook、导出包、事件通知和订阅分发。
- 服务定义、发布计划和网关同步
- 消费者账号、授权周期和配额
- 调用审计、订阅分发和受控回放
安全运营与高可用基线
围绕统一身份、RBAC、审计、指标、健康门禁、备份恢复和容器化部署形成运行底座。
- 角色权限、职责分离和越权阻断
- 审计事件、运营指标和依赖健康
- 备份恢复、演练门禁和发布回滚
平台架构
统一控制面 + 成熟数据组件
业务对象状态、审批、权限和审计由平台控制面统一裁决；重型接入、调度、解析、元数据、 网关、对象存储、检索和关系能力通过成熟组件承接。
01 数据源层
业务数据库、文件离线包、第三方 API、IoT 设备、人工资料与知识条目。
02 接入与控制层
Gravitee APIM、Java 控制面、Python 扩展服务，负责统一入口、权限、任务下发和状态裁决。
03 执行与治理层
SeaTunnel、DolphinScheduler、Debezium、Pulsar、OpenMetadata、Filebeat、Scrapy、Tika、Tesseract。
04 数据存储层
PostgreSQL、MinIO、InfluxDB、Elasticsearch、Neo4j 分层承载主数据、对象、时序、索引和关系读模型。
05 应用与开放层
门户控制台、数据服务、Webhook、订阅分发、审计中心和运营看板。
业务闭环
从数据进入平台到服务化复用
- F01来源登记与接入
- F02治理编目与知识关联
- F03标签标注与审核
- F04发布授权与导出
- F05服务开放与消费
- F06知识条目联动
分期建设
架构按完成体设计，交付按阶段收敛
平台底座与业务闭环
接入、治理、目录、检索、标注、发布、导出、服务开放、权限审计和恢复预案形成可演示闭环。
交换增强与高可用升级
强化 CDC、事件总线、订阅分发、监控告警、容量治理、备份容灾和专题知识库能力。
智能知识服务与专项平台扩展
按收益引入复杂推荐、完整模型管理平台、完整资源管理平台和更高阶知识发现能力。
平台基线
完成体必须守住的工程原则
统一控制面负责对象状态、审批、权限和审计。
引接、调度、元数据、网关和对象存储优先复用成熟组件。
跨服务调用具备超时、重试、幂等或补偿策略。
详情页以后端 allowed_actions 和 blocked_reasons 为权威。
一期验收以端到端闭环、权限审计有效、恢复手册可执行为门槛。