Bestem kildeformålet
Angiv den nøjagtige kilde, ejeren, data klassificering og den hensigtsmæssige forretningsarbejdstrøm. En generisk kobler er ikke tilladt at scanne vilkårlige tabeller eller endpunkter.
Begynd med en konkret anvendelse: Hvilket forretningsspørgsmål kræver hvilke felter fra hvilken kilde? Registrér ejeren, den godkendte destination, dataklassifikationen og antagelserne om opbevaring. Vælg det mindste kildeomfang, der understøtter spørgsmålet. Legitimationsoplysninger er en adgangsmekanisme, ikke en tilladelse til at udvide indsamlingen ud over formålet.
- Vælg en støttet adapter og eksplicit destination.
- Brug de minimum tilladte felter og rækkevidde.
- Hold kildekrediteringerne i kundedataplanen.
Overvej indtagelsesgrænsen
Godkend pseudonymisering, tilladte adresser, feltmappinger og deadlines før tilladelse af indsamling. optegn kilde schema og se fingeraftryk, så drift bliver synlig.
Gennemgå dataenes form og betydning såvel som transporten. Identificér forretningstid, enhedsidentifikatorer, rækkefølge og eventuelle manglende værdier. En syntaktisk gyldig batch kan stadig mappe den forkerte forretningssemantik. Bevar skema- og mappingidentiteter, så senere ændringer kan opdages og gennemgås.
Kildelokal forvaring og kontrolleret indlæsning
Begynd med det præcise godkendte view, den stream, det endpoint eller den journal.
- Beskytt kildeidentifikation og forretningstid.
- Begrænsede rader, byter, sider og anmodning varighed.
- Oversigt kilde ændringer i stedet for stille udvidelse samling.
Tilføjelse af afbrudt levering
En kildeforbindelse har brug for pålidelig genkendelse og genopretning adfærd. Test tabt genkendelse, genstart og ændret kilde generationer mod den erklærede forbindelse profil.
En connector kan levere en batch korrekt, men miste kvitteringen. Genopretning skal kunne skelne det tilfælde fra en batch, der aldrig ankom. Øv afbrydelser med den præcise understøttede profil, og bevar dens inputidentitet, kvittering og checkpoint-adfærd i stedet for at antage, at alle kilder har samme replay-semantik.
Hvad skal en gennemgået skadekilde bidrage med til en model?
Vælg de tilladte sags-ID'er, statusovergange og forretningstidsstempler fra et godkendt kilde-view. Registrér mappings og inputreferencer, og test derefter en afbrudt batch mod profilkontrakten.
Gennemgå, om de optagne poster understøtter det tilsigtede workflow. En vellykket læsning beviser ikke fuld skadedækning eller native integration med skadeplatformen.
- Overvåg outbox og checkpoint adfærd.
- Kontroller den anerkendte indtast.
- Retain modtagelse og kilde snapshot fra.
Vælg en profil, og kvalificér derefter kilden
Det implementerede katalog over kildeprofiler omfatter hændelsesjournaler, SQLite-views, PostgreSQL-views, PostgreSQL CDC, Redis-streams, afgrænsede REST-læsninger og organisatoriske MCP-læsninger. Hver profil har sin egen driftskontrakt.
PostgreSQL CDC er en isoleret laboratorieprofil. En generisk adapter etablerer ikke native kompatibilitet med en leverandørapplikation, kundens netværk eller change capture i produktion. Kvalificér den præcise kilde, legitimationsoplysninger, skema og udrulning, før brugen udvides.
Gennemgå grænsen før indsamling
| Grænse | Spørgsmål til at løse | Evidens, der skal bevares |
|---|---|---|
| Kildeomfang | Hvilke præcise poster og felter er tilladt? | Gennemgået kildeformål og mapping. |
| Forvaring af legitimationsoplysninger | Hvor opbevares legitimationsoplysninger, og hvem roterer dem? | Referencer til ejer og forvaring, uden hemmeligheder. |
| Afbrudt levering | Hvordan genkender denne profil en allerede optaget batch? | Evidens for inputidentitet, kvittering og checkpoint. |
- Registrér adapter- og kildeversioner.
- Hold legitimationsoplysninger ude af prompts og modeloutput.
- Adskil en vellykket laboratorieforbindelse fra produktionsaccept.
Bevar sporbarheden gennem ændringer
Data bliver til nyttig evidens, når en bedømmer kan identificere, hvor de kom fra, og hvordan de kom ind i modellen. Bevar kildereferencer, snapshotidentitet, gennemgåede mappings og de relevante indsamlingsgrænser sammen med modellen.
Behandl en ændret kildegeneration, et ændret skema eller en ændret destination som en anledning til gennemgang. Genfortolk ikke stiltiende gamle poster gennem en ny mapping. Bevar tidligere evidens, så en senere uoverensstemmelse kan spores til kilden, mappingen eller modellen i stedet for at blive gættet.
Hold evidensen og dens betingelser samlet. En senere succes sletter ikke en tidligere fejl eller udvider det oprindelige omfang.
- Bevar kilde- og mappingidentiteter.
- Forklar huller, dubletter og antagelser om rækkefølge.
- Gennemgå ændringer i indsamlingen med den ansvarlige ejer.
Forbered en brief til kildeonboarding
Saml kildeejeren og platformteamet om den mindste nyttige forbindelse. Aftal de tilladte data, formål, profil, fejladfærd og den evidens, der skal bevares, før en følsom kilde forbindes.
Brug syntetiske eller behørigt godkendte input til at øve kontrakten. Hold acceptbeslutningen adskilt fra tjeklisten: At vælge et punkt her registrerer ikke en connector og giver ikke adgang til et system.
Forberedelse af gennemgang
0 / 6 forberedt- Navngiv ejeren af kilden og legitimationsoplysningerne.
- Definér grænser for indsamling og genopretning.
- Registrér det resterende arbejde med kundekvalificering.