Convención - Migración y retirada de conjuntos de datos entre catálogos de origen y destino

[Admindatosgobes]

Contexto

En el proceso de migración de conjuntos de datos entre catálogos de diferentes organismos (ejemplo: traslado de datasets de catálogos de metadatos geográficos hacia el catálogo de datos abiertos), surge la necesidad de definir buenas prácticas que minimicen el impacto en los usuarios y garanticen la trazabilidad de los recursos. El caso expuesto consiste en transferir conjuntos de datos de un catálogo de origen a uno de destino, y en algunos casos eliminar conjuntos que dejan de ser publicados por obsolescencia o falta de actualización.

Cuestiones planteadas por los organismos:

• ¿Es más conveniente eliminar directamente los conjuntos de datos del catálogo de origen, dejando constancia mediante nota informativa, o mantenerlos temporalmente con redirección al nuevo catálogo?
• ¿Cómo debe reflejarse la eliminación de conjuntos de datos en los catálogos de origen?
• ¿Existen buenas prácticas recomendadas para la gestión de la migración y retirada de datasets?

---

Propuesta

Aplicabilidad

• Recomendada (SHOULD): Se recomienda adoptar las siguientes prácticas para garantizar la interoperabilidad y la experiencia del usuario, aunque pueden existir excepciones justificadas.

Convención propuesta

## Migración y retirada de conjuntos de datos entre catálogos {#organismos-migracion-datasets}

### Gestión de la migración

!!! should organisational "Convención XX"
    Cuando se traslade un conjunto de datos de un catálogo de origen a otro destino, **DEBERÍA** mantenerse el recurso en el catálogo de origen durante un periodo transitorio razonable (sugerido: 3-6 meses), con:
    
    1. Nota informativa clara en la propiedad de procedencia
    2. Referencia al nuevo catálogo/dataset mediante [`dct:isReplacedBy`](http://purl.org/dc/terms/isReplacedBy) o [`dct:relation`](https://datosgobes.github.io/DCAT-AP-ES/Dataset.relation)
    3. Estado del registro actualizado mediante [`adms:status`](https://datosgobes.github.io/DCAT-AP-ES/CatalogRecord.status) en el `dcat:CatalogRecord`

!!! should organisational "Convención XY"
    La eliminación definitiva del dataset en el catálogo de origen **DEBERÍA** realizarse únicamente después de:
    
    1. Verificar la correcta federación en el catálogo de destino
    2. Comunicar a los usuarios el cambio mediante los canales habituales
    3. Completar el periodo transitorio establecido

### Trazabilidad mediante CatalogRecord

!!! should technical "Convención XZ"
    La información sobre el estado y procedencia del dataset en el catálogo **DEBERÍA** registrarse preferentemente en el `dcat:CatalogRecord` asociado, utilizando:
    
    1. `adms:status` para indicar el estado del registro:
        - `http://purl.org/adms/status/Withdrawn` (retirado)
        - `http://purl.org/adms/status/Deprecated` (obsoleto)
    2. `dct:description` para explicar el motivo de la migración/retirada
    3. `dct:modified` para registrar la fecha de la última actualización del estado

!!! info "Ejemplo de gestión de migración mediante CatalogRecord"
    ```turtle
    @prefix dcat: <http://www.w3.org/ns/dcat#> .
    @prefix dct: <http://purl.org/dc/terms/> .
    @prefix adms: <http://www.w3.org/ns/adms#> .
    @prefix foaf: <http://xmlns.com/foaf/0.1/> .

    # Registro del catálogo que documenta la migración
    <http://datos.gob.es/catalogo/record/old-dataset-record>
      a dcat:CatalogRecord ;
      foaf:primaryTopic <http://datos.gob.es/catalogo/dataset/old-dataset> ;
      dct:modified "2025-10-22T12:00:00Z"^^xsd:dateTime ;
      adms:status <http://purl.org/adms/status/Withdrawn> ;
      dct:description "Dataset migrado al catálogo del Ministerio XYZ el 2025-10-22. Nueva ubicación: http://ministerio.xyz/catalogo/dataset/new-dataset"@es .

    # Dataset con información de migración
    <http://datos.gob.es/catalogo/dataset/old-dataset>
      a dcat:Dataset ;
      dct:title "Conjunto de datos migrado"@es ;
      dct:description "Este conjunto de datos ha sido trasladado al catálogo del Ministerio XYZ. Durante el periodo transitorio (hasta 2026-01-22), puede consultarse en ambas ubicaciones."@es ;
      dct:isReplacedBy <http://ministerio.xyz/catalogo/dataset/new-dataset> ;
      dct:provenance "Migración desde el catálogo de MINTUR realizada en octubre de 2025"@es .
    ```

### Retirada por obsolescencia

!!! should organisational "Convención XW"
    Si un conjunto de datos se retira por obsolescencia o falta de actualización, **DEBERÍA**:
    
    1. Mantener el registro del dataset en el catálogo con estado ([`adms:status`](https://datosgobes.github.io/DCAT-AP-ES/CatalogRecord.status)) "Deprecated" o "Withdrawn"
    2. Documentar en el [`dcat:CatalogRecord`](https://datosgobes.github.io/DCAT-AP-ES/CatalogRecord) el motivo y fecha de retirada
    3. Indicar en [`dct:provenance`](https://datosgobes.github.io/DCAT-AP-ES/Dataset.provenance) o descripción el motivo específico
    4. Proporcionar alternativas cuando existan

!!! info "Ejemplo de dataset retirado por obsolescencia"
    ```turtle
    # Registro marcado como obsoleto
    <http://datos.gob.es/catalogo/record/deprecated-dataset-record>
      a dcat:CatalogRecord ;
      foaf:primaryTopic <http://datos.gob.es/catalogo/dataset/deprecated-dataset> ;
      dct:modified "2025-10-22T12:00:00Z"^^xsd:dateTime ;
      adms:status <http://purl.org/adms/status/Deprecated> ;
      dct:description "Dataset retirado por falta de actualización desde 2020. No se dispone de alternativa actualizada."@es .

    # Dataset con información de obsolescencia
    <http://datos.gob.es/catalogo/dataset/deprecated-dataset>
      a dcat:Dataset ;
      dct:title "Conjunto de datos obsoleto"@es ;
      dct:description "Este dataset no ha sido actualizado desde 2020 y ha sido marcado como obsoleto."@es ;
      dct:provenance "Retirado por obsolescencia en octubre de 2025 tras 5 años sin actualización"@es .
    ```

!!! warning "Importante"
   - **Evitar duplicidades**: No mantener simultáneamente el mismo conjunto de datos activo en ambos catálogos
   - **Garantizar trazabilidad**: Documentar siempre el proceso mediante [`dcat:CatalogRecord`](https://datosgobes.github.io/DCAT-AP-ES/CatalogRecord)
   - **Comunicación clara**: Informar a usuarios mediante múltiples canales durante el periodo transitorio
   - **Validación**: Verificar la correcta federación antes de la eliminación definitiva

---

Comentarios Adicionales

• ¿Conviene definir plantillas estándar para mensajes de migración en diferentes canales?
• ¿Deberían documentarse casos específicos de migración entre niveles administrativos (AGE, CCAA, etc.)?
• ¿Es necesario indicar que debe coordinarse con el catálogo nacional (datos.gob.es) el calendario de migraciones para evitar inconsistencias en la federación?

---

[mjanez]

Coincido en que tiene sentido centralizar la gestión de trazabilidad de migraciones en dcat:CatalogRecord en lugar de mezclar información administrativa del catálogo con metadatos descriptivos del dataset. Además, propongo que esta convención sea coherente con la issue #58 sobre relación de metadatos entre perfiles.

1. Uso de dcat:CatalogRecord como eje central. El CatalogRecord es el lugar natural para documentar el ciclo de vida administrativo del registro en el catálogo (estados, fechas de inclusión, modificaciones editoriales, etc.), separándolo de la descripción semántica del dataset.

2. Combinación con prov:wasGeneratedBy para trazabilidad del proceso. Para documentar cómo se generó el dataset (ej: migración desde ISO19139, transformación desde otro catálogo), la propiedad prov:wasGeneratedBy es más adecuada que dct:provenance (que es textual). Esto permite modelar la actividad de migración como una entidad estructurada.

3. Coherencia con la issue Convención - Relacionar metadatos INSPIRE ISO19139 (y otras versiones de metadatos) con DCAT-AP-ES mediante una propiedad estándar #58: uso de adms:identifier. Siguiendo el patrón propuesto en la incidencia, cuando un dataset tiene descripciones en múltiples perfiles (ej: INSPIRE ISO19139 y DCAT-AP-ES), se pueden vincular mediante adms:identifier con contexto adicional.

4. Uso de dct:isReplacedBy para reemplazos explícitos. Cuando un dataset reemplaza a otro (ej: nueva descripción DCAT-AP-ES que sustituye a una ISO19139 en el catálogo de origen), usar dct:isReplacedBy:

   # Dataset antiguo (catálogo de origen - ej: catálogo geográfico)
   <http://catalogo-origen.gob.es/dataset/old-123>
      a dcat:Dataset ;
      dct:title "Dataset antiguo (descripción ISO19139)"@es ;
      dct:isReplacedBy <http://catalogo-nuevo.gob.es/recurso/dataset/123> ;
      dct:provenance "Migrado al catálogo nacional en octubre de 2025"@es .

Con lo que planteo la siguiente modificación de la propuesta:

## Buenas prácticas en la migración y retirada de conjuntos de datos entre catálogos {#general-migracion-datasets}

### Gestión de la migración

!!! should organisational "Convención XX"
    Cuando se traslade un conjunto de datos de un catálogo de origen a otro destino, **DEBERÍA**:
    
    1. Mantener el recurso en el catálogo de origen durante un periodo transitorio (sugerido: 3-6 meses)
    2. Añadir una nota en [`dct:provenance`](https://datosgobes.github.io/DCAT-AP-ES/#Dataset.provenance)
    3. Usar [`dct:isReplacedBy`](http://purl.org/dc/terms/isReplacedBy) para referenciar el nuevo dataset
    4. Actualizar el estado en [`dcat:CatalogRecord`](https://datosgobes.github.io/DCAT-AP-ES/#CatalogRecord) mediante [`adms:status`](https://datosgobes.github.io/DCAT-AP-ES/#CatalogRecord.status)

!!! should organisational "Convención XY"
    La eliminación definitiva **DEBERÍA** realizarse solo después de:
    
    1. Verificar la correcta federación en el catálogo de destino
    2. Comunicar a los usuarios mediante canales habituales
    3. Completar el periodo transitorio

### Trazabilidad mediante CatalogRecord

!!! should technical "Convención XZ"
    La información sobre el estado del registro **DEBERÍA** gestionarse en [`dcat:CatalogRecord`](https://datosgobes.github.io/DCAT-AP-ES/#CatalogRecord):
    
    1. [`adms:status`](https://datosgobes.github.io/DCAT-AP-ES/#CatalogRecord.status): `Withdrawn` o `Deprecated`
    2. `dct:description`: Motivo de la migración/retirada
    3. `dct:modified`: Fecha de actualización del estado

!!! info "Ejemplo: Migración con CatalogRecord y trazabilidad"
    ```turtle
    # Registro del catálogo en catálogo de origen (origen)
    <http://catalogo-origen.gob.es/record/old-123>
      a dcat:CatalogRecord ;
      foaf:primaryTopic <http://catalogo-origen.gob.es/dataset/old-123> ;
      dct:modified "2025-10-22T12:00:00Z"^^xsd:dateTime ;
      adms:status <http://purl.org/adms/status/Withdrawn> ;
      dct:description "Dataset migrado al nuevo catálogo de datos abiertos el 2025-10-22"@es .

    # Dataset en catálogo de origen (origen - período transitorio)
    <http://catalogo-origen.gob.es/dataset/old-123>
      a dcat:Dataset ;
      dct:title "Dataset geográfico (migrado)"@es ;
      dct:description "Este dataset ha sido migrado. Durante el periodo transitorio (hasta 2026-01-22), consúltese la nueva ubicación."@es ;
      dct:isReplacedBy <http://catalogo-nuevo.gob.es/recurso/dataset/123> ;
      dct:provenance "Migrado desde catálogo geográfico en octubre de 2025"@es .

    # Dataset migrado (destino - federa con datos.gob.es)
    <http://catalogo-nuevo.gob.es/recurso/dataset/123>
      a dcat:Dataset ;
      dct:title "Dataset geográfico de ejemplo"@es ;
      dct:identifier <http://catalogo-nuevo.gob.es/recurso/dataset/123> ;
      
      # Vinculación con descripción INSPIRE mediante adms:identifier (issue #58)
      adms:identifier <http://www.idee.es/csw-codsi-idee/ES-INSPIRE-456> ;
      
      # Trazabilidad del proceso de migración
      prov:wasGeneratedBy [
        a prov:Activity ;
        dct:title "Migración de datasets geográficos a datos.gob.es"@es ;
        dct:description "Transformación desde ISO19139 a DCAT-AP-ES"@es ;
        prov:startedAtTime "2025-10-01T00:00:00Z"^^xsd:dateTime ;
        prov:endedAtTime "2025-10-22T12:00:00Z"^^xsd:dateTime
      ] .

    # Contexto del identificador INSPIRE (coherente con issue #58)
    <http://www.idee.es/csw-codsi-idee/ES-INSPIRE-456>
      a adms:Identifier ;
      skos:notation "ES-INSPIRE-456" ;
      rdfs:comment "Identificador INSPIRE del mismo dataset"@es ;
      dct:conformsTo <http://data.europa.eu/eli/reg/2008/1205> ;
      foaf:page <http://geonetwork.example.org/metadata/ES-INSPIRE-456> ;
      dct:format <http://publications.europa.eu/resource/authority/file-type/XML> ;
      dct:issued "2020-01-15"^^xsd:date .
    ```

### Retirada por obsolescencia

!!! should organisational "Convención XW"
    Si un dataset se retira por obsolescencia, **DEBERÍA**:
    
    1. Mantener el registro con estado `Deprecated` o `Withdrawn` en [`dcat:CatalogRecord`](https://datosgobes.github.io/DCAT-AP-ES/#CatalogRecord)
    2. Documentar en [`dct:provenance`](https://datosgobes.github.io/DCAT-AP-ES/#Dataset.provenance) el motivo específico
    3. Proporcionar alternativas cuando existan

!!! info "Ejemplo: Dataset retirado por obsolescencia"
    ```turtle
    <http://datos.gob.es/catalogo/record/deprecated-123>
      a dcat:CatalogRecord ;
      foaf:primaryTopic <http://datos.gob.es/catalogo/dataset/deprecated-123> ;
      dct:modified "2025-10-22T12:00:00Z"^^xsd:dateTime ;
      adms:status <http://purl.org/adms/status/Deprecated> ;
      dct:description "Dataset retirado por falta de actualización desde 2020"@es .

    <http://datos.gob.es/catalogo/dataset/deprecated-123>
      a dcat:Dataset ;
      dct:title "Dataset obsoleto"@es ;
      dct:provenance "Retirado por obsolescencia en octubre de 2025 tras 5 años sin actualización. La unidad responsable determinó que los datos ya no son relevantes."@es .
    ```

!!! warning "Importante"
   - **Evitar duplicidades**: No mantener el mismo dataset activo simultáneamente en ambos catálogos si ambos federan.
   - **Separar responsabilidades**: Usar `dcat:CatalogRecord` para gestión administrativa y el dataset para descripción semántica
   - **Coherencia con issue #58**: Vincular descripciones en diferentes perfiles mediante `adms:identifier`
   - **Trazabilidad estructurada**: Usar `prov:wasGeneratedBy` para procesos de migración complejos