定义源目的
指定准确的来源,所有者,数据分类和计划的业务工作流。 一个通用连接器不允许扫描自愿的表或终点。
从具体用途出发:哪个业务问题需要来自哪个数据源的哪些字段?记录负责人、获批的目标位置、数据分类和保留假设。选择能够支撑该问题的最小数据源范围。凭据是一种访问机制,并不代表可以超出该用途扩大采集。
- 选择支持的适配器和明确的目的地。
- 使用最低允许的字段和序列范围。
- 在客户数据库中保留源识别。
审查输入边界
同意姓名化,允许地址,字段地图和时间表,在允许收集之前。记录源图和显示指纹,以便Drift成为可见。
既要审核数据的传输,也要审核数据的结构和含义。识别业务时间、实体标识、排序以及任何缺失值。语法上有效的批次仍可能映射了错误的业务语义。保留 schema 和映射标识,以便日后的变更能够被发现和审核。
数据源本地保管与受控接入
从确切的、已批准的视图、流、端点或日志开始。
- 保留源身份和业务时间。
- 限制行、比特、页面和请求时间。
- 评论来源的变化而不是沉默扩展收藏。
重复中断交付
源连接需要可靠的认可和恢复行为 测试失去的认可,重新启动和改变源代对声明的连接器配置。
连接器可能成功投递了一个批次,却丢失了确认。恢复时需要将这种情况与批次根本未送达的情况区分开来。请使用确切的受支持配置预演中断,保留其输入标识、回执和检查点行为,而不要假定所有数据源都具有相同的重放语义。
经审核的理赔数据源应为模型提供什么?
从经批准的数据源视图中选择允许使用的案件标识、状态流转和业务时间戳。记录映射和输入引用,然后对照配置契约测试一个中断的批次。
审核已接入的记录是否支持预期的工作流。读取成功并不能证明理赔覆盖完整,也不代表与理赔平台原生集成。
- 检查出箱和检查点行为。
- 检查已认可的输入消化。
- 留下接收和源源 snapshot 来源。
先选择配置,再认定数据源
已实现的数据源配置目录包括事件日志、SQLite 视图、PostgreSQL 视图、PostgreSQL CDC、Redis 流、有边界的 REST 读取以及组织 MCP 读取。每种配置都有其自身的运行契约。
PostgreSQL CDC 是一个隔离的实验室配置。通用适配器并不代表与供应商应用、客户网络或生产环境变更捕获原生兼容。在扩大使用范围之前,请对具体的数据源、凭据、schema 和部署进行资格认定。
采集前先审核边界
| 边界 | 要解决的问题 | 需留存的证据 |
|---|---|---|
| 数据源范围 | 具体允许哪些记录和字段? | 经审核的数据源用途和映射。 |
| 凭据保管 | 凭据保存在哪里?由谁轮换? | 负责人和保管引用,不含密钥。 |
| 投递中断 | 该配置如何识别已接入的批次? | 输入标识、回执和检查点证据。 |
- 记录适配器和数据源版本。
- 确保凭据不出现在提示词和模型输出中。
- 将实验室连接成功与生产验收区分开来。
在变化中保持血缘
只有当审核人能够确认数据的来源及其进入模型的方式时,数据才能成为有用的证据。请将数据源引用、快照标识、经审核的映射以及相关的采集限制与模型一同保留。
将数据源代次、schema 或目标的变更视为需要审核的事件。不要悄然用新映射重新解读旧记录。保留早期证据,以便日后出现差异时能够追溯到数据源、映射或模型,而不是靠猜测。
让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。
- 保留数据源和映射标识。
- 说明缺口、重复项和排序假设。
- 与责任人一起审核采集变更。
准备数据源接入简报
让数据源负责人和平台团队围绕最小可用的连接协同工作。在连接敏感数据源之前,约定允许的数据、用途、配置、故障行为以及需留存的证据。
使用合成输入或经适当批准的输入来预演契约。将验收决策与检查清单分开:在此勾选某项并不会注册连接器,也不会授予对任何系统的访问权限。
审核准备
0 / 6 已准备- 指定数据源和凭据负责人。
- 定义采集和恢复限制。
- 记录剩余的客户资格认定工作。