Sølvdata

Nedenstående specifikation beskriver den anvendte udmøntning af begrebet sølvdata fra medaljondataarkitekturen i praksis. Den valgte brug af sølvdata betegnes ofte som standardiserede data og understøtter fuldautomatisk behandling af sølvdata baseret på konfiguration og uden behov for udvikling af eksempelvis transformationer.

Sølvdatastandard

Aspect

Beskrivelse

Specifikationer

Lagring

Sølvdata behandles i tre adskilte zoner der hver især optimeres til den funktionalitet zonen håndterer:

  • Staging zonen formaterer bronzedata til standard sølvdatatyper og muliggør tilføjelse af nytilkommet data til eksisterende sølvdata uden yderligere type konvertering.
  • Raw zonen fremstiller standardiseret sølvdata ved at bearbejde bronzedata og udfører følgende operationer:
    • Deduplikering
    • Historikgenerering
    • Nøglegenerering
  • Hub zonen udstiller færdigbehandlet sølvdata ved at viderebehandle data fra raw zonen og udfører følgende operationer:
    • Samlet fremstilling af data fra raw zonen pr. objekt
    • Yderligere standardisering af specifikke kategorier af data såsom tidsserier.

Azure Synapse implementation:

  • Staging zonen stiller bronzedata til rådighed i tabeller med standardiserede sølvdatatyper.
    • Bronzedata fra drop zonen stilles til rådighed i tabeller ved navn staging.<source>#<namespace>#<object>#<version>#delta
    • Bronzedata fra bronze zonen i tabeller ved navn staging.<source>#<namespace>#<object>#<version>#full.
  • Raw zonen opbevarer standardiseret data i følgende tabeller:
    • Deduplikeret kildedata opbevares i raw.<source>#<namespace>#<object>#<version>#data pr. object pr. version.
    • Historik opbevares i raw.<source>#<namespace>#<object>#history pr. objekt.
    • Nøgler opbevares i raw.<source>#<namespace>#<object>#keys pr. objekt.
  • Hub zonen udstiller færdigbehandlet sølvdata i views
    • Alle objekter udstilles i et view ved navn hub.<source>#<namespace>#<object>
    • Tidsserier udstilles i standardformat i views ved navn hub.<source>#<namespace>#<object>#timeseries

Metadata

Sølvdata påfører følgende metadata på record- (række) niveau udover det på bronzedata allerede påførte metadata:

  • _RecordId_ Unik identifikation af fysisk record
  • _RecordKey_ Unik identifikation af logisk record
  • _RecordHash_ Hashværdi af alle felter i record (metadatafelter undtaget)
  • _RecordValidFrom_ Angiver start på gyldighedsperiode for record.
  • _RecordValidTo_ Angiver udløb på gyldighedsperiode for record.
  • _RecordVersion_ Antal ændringer observeret på logisk record.
  • _RecordActive_ Indikerer den aktuelt gyldige record.​
  • _RecordType_ Logisk type record (Original, Computed, Correction, Removal)
  • _EntityVersion_ Antal ændringer observeret af schema.
  • _EntitySource_ Oprindelsesdatakilde.

Synapse implementation:

  • _RecordId_ Sættes lig _RowId_ eller UUID hvis denne ikke er angivet.
  • _RecordKey_ Hashnøgle jf. konfiguration.
  • _RecordHash_ SHA256 hashværdi af alle felter i record (metadatafelter undtaget)
  • _RecordValidFrom_ Sættes lig udløbstidspunkt for forrige record med samme logiske nøgle.
  • _RecordValidTo_ Sættes lig starttidspunkt for efterfølgende record med samme logiske nøgle.
  • _RecordVersion_ Antal records med samme logiske nøgle.
  • _RecordActive_ Sand på senest tilkomne logiske record.​
  • _RecordType_ Logisk type record (Original, Computed, Correction, Removal)
  • _EntityVersion_ Antal ændringer observeret af schema.
  • _EntitySource_ Oprindelsesdatakilde.

Nøgler

Sikkerhed

  • Brugere
    • Brugere har læseadgang til sølvdata.
  • Services
    • Indlæsningslaget har ikke adgang til sølvdata.
    • Modelleringslaget ejer og har fuld adgang til sølvdata.
    • Udstillingslaget har læseadgang til sølvdata.
  • Udviklere
    • Data Engineers har fuld adgang til al data i modelleringslaget.
    • Platform Engineers har redigeringsadgang til strukturerne i zonerne i modelleringslaget, men ikke adgang til data i modelleringslaget.

Aspect

Lagring

Beskrivelse

Sølvdata behandles i tre adskilte zoner der hver især optimeres til den funktionalitet zonen håndterer:

  • Staging zonen formaterer bronzedata til standard sølvdatatyper og muliggør tilføjelse af nytilkommet data til eksisterende sølvdata uden yderligere type konvertering.
  • Raw zonen fremstiller standardiseret sølvdata ved at bearbejde bronzedata og udfører følgende operationer:
    • Deduplikering
    • Historikgenerering
    • Nøglegenerering
  • Hub zonen udstiller færdigbehandlet sølvdata ved at viderebehandle data fra raw zonen og udfører følgende operationer:
    • Samlet fremstilling af data fra raw zonen pr. objekt
    • Yderligere standardisering af specifikke kategorier af data såsom tidsserier.

Specifikationer

Azure Synapse implementation:

  • Staging zonen stiller bronzedata til rådighed i tabeller med standardiserede sølvdatatyper.
    • Bronzedata fra drop zonen stilles til rådighed i tabeller ved navn staging.<source>#<namespace>#<object>#<version>#delta
    • Bronzedata fra bronze zonen i tabeller ved navn staging.<source>#<namespace>#<object>#<version>#full.
  • Raw zonen opbevarer standardiseret data i følgende tabeller:
    • Deduplikeret kildedata opbevares i raw.<source>#<namespace>#<object>#<version>#data pr. object pr. version.
    • Historik opbevares i raw.<source>#<namespace>#<object>#history pr. objekt.
    • Nøgler opbevares i raw.<source>#<namespace>#<object>#keys pr. objekt.
  • Hub zonen udstiller færdigbehandlet sølvdata i views
    • Alle objekter udstilles i et view ved navn hub.<source>#<namespace>#<object>
    • Tidsserier udstilles i standardformat i views ved navn hub.<source>#<namespace>#<object>#timeseries

Aspect

Metadata

Beskrivelse

Sølvdata påfører følgende metadata på record- (række) niveau udover det på bronzedata allerede påførte metadata:

  • _RecordId_ Unik identifikation af fysisk record
  • _RecordKey_ Unik identifikation af logisk record
  • _RecordHash_ Hashværdi af alle felter i record (metadatafelter undtaget)
  • _RecordValidFrom_ Angiver start på gyldighedsperiode for record.
  • _RecordValidTo_ Angiver udløb på gyldighedsperiode for record.
  • _RecordVersion_ Antal ændringer observeret på logisk record.
  • _RecordActive_ Indikerer den aktuelt gyldige record.​
  • _RecordType_ Logisk type record (Original, Computed, Correction, Removal)
  • _EntityVersion_ Antal ændringer observeret af schema.
  • _EntitySource_ Oprindelsesdatakilde.

Specifikationer

Synapse implementation:

  • _RecordId_ Sættes lig _RowId_ eller UUID hvis denne ikke er angivet.
  • _RecordKey_ Hashnøgle jf. konfiguration.
  • _RecordHash_ SHA256 hashværdi af alle felter i record (metadatafelter undtaget)
  • _RecordValidFrom_ Sættes lig udløbstidspunkt for forrige record med samme logiske nøgle.
  • _RecordValidTo_ Sættes lig starttidspunkt for efterfølgende record med samme logiske nøgle.
  • _RecordVersion_ Antal records med samme logiske nøgle.
  • _RecordActive_ Sand på senest tilkomne logiske record.​
  • _RecordType_ Logisk type record (Original, Computed, Correction, Removal)
  • _EntityVersion_ Antal ændringer observeret af schema.
  • _EntitySource_ Oprindelsesdatakilde.

Aspect

Nøgler

Beskrivelse

Specifikationer

Aspect

Sikkerhed

Beskrivelse

  • Brugere
    • Brugere har læseadgang til sølvdata.
  • Services
    • Indlæsningslaget har ikke adgang til sølvdata.
    • Modelleringslaget ejer og har fuld adgang til sølvdata.
    • Udstillingslaget har læseadgang til sølvdata.
  • Udviklere
    • Data Engineers har fuld adgang til al data i modelleringslaget.
    • Platform Engineers har redigeringsadgang til strukturerne i zonerne i modelleringslaget, men ikke adgang til data i modelleringslaget.

Specifikationer

Se dataarkitektur