O Mynd para engenheiros de dados
Data Engineer, como vai aparecer na app, na próxima versão.
Um engenheiro de dados constrói os caminhos por onde os dados passam: origens, pipelines, armazenamento e qualidade. Quando algo falha, é preciso saber o que mudou e quando.
A estrutura pronta
Nota 89 em 100. O que quer dizer a nota.
A estrutura começa por Data, o centro do trabalho, dividido em Sources, Collection e Quality. Seguem Pipelines, Storage, Integration, Operations, Governance e AI. Cada registo fica com o caminho completo, por exemplo Data, Sources, Internal, e encontra-se por qualquer um dos três níveis.
A árvore completa está no fim desta página, com os nomes em inglês, como na app.
Frases de Context sugeridas
A estrutura diz de que trata cada registo. As frases do Context, que cada pessoa cria, dizem o resto. Para esta profissão, algumas que costumam servir:
Falha de pipeline Mudança de origem Qualidade Resolvido
Um relatório que se envia sozinho
Uma busca junta as falhas e as mudanças de origem da semana. Todas as sextas-feiras, as equipas que usam os dados recebem o resumo.
O que ganha: Quem usa os dados sabe o que mudou antes de encontrar números estranhos.
O card com o mapa das origens de dados vai para cada analista novo.
Nesta versão, o Start, cada pessoa tem 14 envios automáticos de buscas e 14 de cards; no Run, poderá ter os que precisar. Cada envio tem a sua busca, os seus destinatários e a sua frequência: diária, semanal, mensal ou numa data. Os emails saem pela conta de email da própria pessoa, e cada destinatário recebe o seu.
A árvore completa
Data3 Types
- Data/SourcesInternalExternalStreaming
- Data/CollectionIngestionExtractionIntegration
- Data/QualityValidationConsistencyMonitoring
Pipelines3 Types
- Pipelines/DesignArchitectureWorkflowsScheduling
- Pipelines/ProcessingBatchRealtimeTransformation
- Pipelines/OptimizationPerformanceScalabilityReliability
Storage3 Types
- Storage/DatabasesRelationalNoSQLGraph
- Storage/WarehousesModelingPartitioningAccess
- Storage/LakesRawCuratedGoverned
Integration3 Types
- Integration/SystemsApplicationsPlatformsServices
- Integration/InterfacesAPIsEventsMessaging
- Integration/SynchronizationReplicationConsistencyRecovery
Operations3 Types
- Operations/InfrastructureComputeStorageNetwork
- Operations/MonitoringMetricsLogsAlerts
- Operations/MaintenanceUpdatesAutomationOptimization
Governance3 Types
- Governance/SecurityAccessEncryptionProtection
- Governance/CompliancePoliciesAuditsRetention
- Governance/PrivacyConsentMaskingControl
AI3 Types
- AI/PipelinesEmbeddingsChunkingIndexing
- AI/QualityLabelsDeduplicationDrift
- AI/AssistantsSQLTransformationsDocs
