Cleaning Operations
DISEÑO DE SISTEMAS DE CAPTURA
El sistema de información emplea tecnología Web y se soporta con una base de datos centralizada, está desarrollado en lenguaje Java – J2EE utilizando el Framework Struts. Los reportes fueron desarrollados con Ireports. El sistema consume servicios de base de datos definidos sobre packages de base de datos ORACLE desarrollados en PL/SQL.
Entre sus atributos se encuentran:
- Formulario electrónico a través del cual las fuentes suministran directamente la información.
- Módulos para el análisis de la información por parte de los gestores en las territoriales
- Generación de estadísticas básicas para el cálculo de los agregados económicos del sector y para las cuentas nacionales.
- Información básica para la conformación de directorios de empresas de cada una de las actividades económicas investigadas.
- Cifras para el seguimiento en línea del operativo.
ALMACENAMIENTO
La información generada por la operación estadística se almacena en un servidor de la entidad para velar por la preservación de la misma.
SEGURIDAD
Dando alcance a la política general de seguridad de la información, en la cual el DANE reconoce la información y en especial los datos utilizados para producir estadísticas, como los activos más importantes de la entidad; el DANE, se compromete a proteger la privacidad, seguridad y gestión de su ciclo de vida, cumpliendo con los mandatos de la constitución y la ley de reserva estadística y promoviendo la confianza y cooperación de los ciudadanos.
En la operación estadística se cuenta con la implementación de controles, procedimientos, protocolos y métodos para gestionar de manera eficiente los activos de información y el fomento de una cultura de seguridad de la información. Además, se mitigan los riesgos que afecten la integridad, disponibilidad y confidencialidad de la información, dentro de un marco orientado a la mejora continua, cumpliendo la ley de reserva estadística y promoviendo la confianza y cooperación de quienes usan la encuesta.
Algunas medidas aplicadas son la protección de las instalaciones físicas y la infraestructura tecnológica, así como el control en el acceso a las instalaciones físicas, información, sistemas y recursos de red
TRANSMISIÓN DE DATOS
El sistema de captura y validación desarrollado en Java y base de datos en Oracle, permite la conexión simultánea de todos los usuarios del sistema, y a su vez la trasmisión de información en tiempo real.
DISEÑO DE PROCESAMIENTO
El sistema de captura permite que las fuentes registren la información por autodiligenciamiento y realiza verificaciones de consistencia en línea, a su vez las labores de crítica y control operativo.
CONSOLIDACIÓN DE ARCHIVOS DE DATOS
Teniendo en cuenta que la recolección de datos se realiza en el aplicativo web no se requiere la consolidación de datos, toda vez que los usuarios pueden descargar la base de datos en tiempo real, de acuerdo con los protocolos y perfiles asignados. El equipo logístico descarga la base de datos del aplicativo y genere la entrega oficial al equipo de temática y de diseños muestrales para el procesamiento de la información.
CODIFICACIÓN
La EAC siguiendo las recomendaciones y lineamientos internacionales en la codificación utiliza la CIIU Rev. 4 A.C., adaptada a las necesidades y requerimientos estadísticos a nivel nacional. En el aplicativo en web, el personal recolector debe codificar según la CIIU Rev. 4 A.C., los dos principales grupos de mercancías que comercializa la empresa. Con este fin, debe tener en cuenta, además de las mercancías descritas, el tipo de modalidad de ventas al por mayor o al por menor. Los demás campos de códigos son asignados automáticamente por el sistema durante la captura, debido a que se cuenta con las tablas paramétricas que permiten seleccionar la información y se almacena tanto el código como la descriptiva de la variable. Es así como la información queda codificada desde el momento mismo de la captura de los datos.
Las tablas paramétricas se encuentran en el documento sobre las especificaciones de validación, identificando tanto los códigos como las descriptivas de cada una de las variables.
Se utilizan códigos en variables como las relacionadas con la asignación de actividades económicas en las adaptaciones realizadas de la CIIU Rev. 4 A.C., las correspondientes a municipio y departamento que se basan en la DIVIPOLA, así como otras variables con clasificaciones propias de la operación estadística como el tipo de encuesta, las novedades de campo, el estado de la empresa en el operativo, entre otras.
REVISIÓN Y VALIDACIÓN
La EAC cuenta con un sistema de información que integra el control del operativo y la actualización del mismo en tiempo real, por lo tanto permite a cada uno de los usuarios realizar seguimiento a las actividades y empresas asignadas.
Desde el momento en que se inicia el operativo de recolección de la encuesta, las personas responsables en sedes y subsedes realizan la asignación de empresas e inician el seguimiento al estado de cada uno de los formularios asignados al equipo de trabajo, estos estados son: notificados, en digitación fuente o digitación -, enviados por la fuente al DANE, en crítica, criticados, depurados, posibles novedades y novedades verificadas.
Las consultas de los informes del operativo se pueden realizar por el personal de monitoreo, por sede o subsede y por dirección territorial, en cualquier momento del operativo y se actualizan automáticamente al actualizar campos como la fecha de notificación, iniciar captura o critica, realizar el control de calidad (calificación), entre otros.
Adicionalmente, se cuenta con una serie de reportes que permiten hacer consistencia a la calidad de algunos campos del formulario. Estos listados se generan por sede o subsede o total nacional, estos son entre otros: cruce EAC – EMC, actividad económica que presentan el listado de las fuentes que presentan alguna inconsistencia en los aspectos analizados y que deben ser verificadas por quienes se encarguen de la coordinación y la crítica de la fuente
Los mecanismos para la revisión, validación y consistencia de la información, realizan de la siguiente manera:
- Validación al momento de la captura de la información: el aplicativo contiene algunos chequeos que se activan al momento en que la fuente adelanta la fase de reporte, algunos de ellos le obligan a corregir cierta información para que quede validada y otros permiten que se realice el envío del formulario al DANE ingresando algunas justificaciones.
Existen chequeos internos en los diferentes módulos, pero además existen chequeos entre los módulos y, finalmente una ficha de análisis donde se verifica la coherencia de la información entregada por la fuente.
- Validación por parte del equipo de campo: bajo el mismo aplicativo web el equipo de campo, a través de los críticos-monitores adelantan la revisión y análisis de la información reportada por las empresas, para ello existe un módulo especial en el aplicativo, donde es posible revisar las diferentes variables que así lo requieren. En esta fase se activan algunos chequeos adicionales y se revisa la coherencia de la información y las justificaciones consignadas por la fuente.
- Existe un filtro de validación y consistencia adicional en el DANE central, donde el grupo de analistas logísticos adelantan una revisión adicional a la información, para ello se cuenta con varias utilidades como una malla de validación de los resultados y reportes a nivel de microdatos y agregados que permiten analizar los datos.
En la fase final de procesamiento, análisis, validación y generación de resultados se cuenta con programas en Advanced Analytics Software - SAS y algunos procesos en Excel que permiten que los equipos de diseños muestrales, logístico y temático procesen a analicen la información.
Finalmente, la validación de los resultados se concluye con el análisis de contexto y de coherencia con otras salidas de información realizadas por el equipo temático y por el proceso de comités o mesas técnicas a diferentes niveles que permiten que equipos interdisciplinarios aporten al análisis de las salidas de información generada.
DISEÑO DE INSTRUMENTOS DE EDICIÓN ( VALIDACIÓN Y CONSISTENCIA) E IMPUTACIÓN DE DATOS
El DANE ha elaborado un instructivo para el tratamiento adecuado de la información, especificaciones de consistencia y validación y los lineamientos para el aseguramiento de la calidad. Este instructivo es utilizado en la etapa de crítica, que se realiza para el formulario electrónico basándose en una ficha de análisis generada por el aplicativo de captura; de acuerdo con los principios metodológicos de la operación estadística descritos en el manual de crítica.
MÉTODO DE IMPUTACIÓN
En la primera etapa se revisa la información reportada en la Encuesta Mensual de Comercio y se utiliza está información para el proceso de imputación. Si no se registra en esta operación o no cruza se revisan los registros administrativos de Supersociedades que genera los datos de ingresos operacionales por empresa y PILA que contiene la información del personal ocupado a través de los pagos de seguridad social.
En caso de no ubicar la información con los anteriores métodos, la imputación se realiza de la siguiente manera: La imputación para la EAC se divide en 2 partes, la primera corresponde a la información demográfica de la fuente, como nombre, ubicación y demás datos propios de la fuente, los cuales se asumen que no cambian de un año a otro y por lo tanto corresponden a la información almacenada en el año anterior de publicación.
La segunda parte corresponde a la información que no se pueden asumir como iguales a las del año anterior, entre estas están ventas, personal, gastos entre otros.
