Cleaning Operations
a) PROCESO DE DISEÑO Y CAPTURA
El diseño de formularios para captura de datos a través de dispositivos móviles se realiza mediante la herramienta SysGold-SysSurvey.
1. Inicio. Inicio del proceso de solicitud de generación de formulario, encuesta o investigación
2. Registrar Solicitud de Creación de Formularios. Entrega de los documentos con los insumos para la encuesta por parte del componente temático de la investigación.
3. Análisis de Factibilidad con la Herramienta de Diseño. La interfaz grafica de desarrollo utiliza el método Drag and Drop (Arrastrar y Pegar), el cual facilita el diseño y el flujo de las preguntas y validaciones de manera eficiente. Sysgold tiene una conexión personalizada a través de un bucle invertido, permitiendo invocar servicios internos de la aplicación de manera local, además cuenta con integración con bases de datos externas, ya que el diseño de un formulario además de guardarse en formato dbf también se almacena en formato mdb, es decir, de bases de datos Acces donde se guardan las preguntas, tipos de datos validaciones y demás anotaciones pertinentes al diseño de un formulario o encuesta. Sysgold ofrece mecanismos de replicación, es decir puede trabajar y compartir información de dos investigaciones bajo un mismo repositorio de manera transparente para el usuario y para los mismos repositorios.
4. Aprobar Solicitud de Generación de Formulario. Se realiza el análisis del formulario diseñado para la investigación enviado por el componente temático, evaluando la viabilidad de implementación en el diseñador de encuestas.
5. Decisión de Aprobación. Apruebe o Rechace la solicitud.
6. Configurar Dominios de Preguntas. Ofrece un dominio de preguntas de tipo Numérico, Texto, Fecha, Lista de valores (Única, Múltiple), Listas dinámicas o tablas prediseñadas en formato dbf de Visual Fox Pro que permita importar y exportar datos Excel.
7. Diseñar Flujo de Preguntas. El diseño del flujo de preguntas se organiza a través del objeto Group Option, que da una apariencia de organización en bloque o Capitulo y de el objeto Cicle, que permite agrupar una cantidad determinada de preguntas que se harán dentro de un ciclo de acuerdo a la cantidad de personas en los hogares.
8. Asociar Reglas de Validación. Se implementan de acuerdo al documento de especificaciones validación y consistencia, que permiten validar entre otras, Rangos, Tipos de Datos, Flujo de datos, Operaciones Aritméticas.
9. Compilar Formulario. Una vez elaborado el formulario se puede realizar compilaciones de verificación de tipo de relación de objetos en la investigación y validación de consistencia de la misma. A su vez proporciona excepciones de manejo de Script programables en lenguaje VisualBasicScript, que dan lugar al cumplimiento de las especificaciones técnicas de la investigación.
10. Ejecutar Plan de Pruebas. Una vez diseñados y modelados los procesos para la captura de información se procede a realizar un plan de pruebas, que permita evaluar el formulario y determinar su salida a campo, mediante pruebas de escritorio y consistencia de datos.
11. Generar Instaladores. Para generar instaladores todas las instancias ofrecen métodos de sincronización para recibir y enviar información, y se establecen de acuerdo a las especificaciones diseñadas por el componente logístico de la investigación, Manejada a través de roles: encuestador, sensibilizador y supervisor.
12. Generar Tablas. La generación de tablas dinámicas incluye una serie de campos de diferentes tipos que son usadas por el diseñador como información de referencia para la validación (Segmento y Áreas Geográficas).
13. Distribución Cartográfica. Permite cargar las tablas con la información a recolectar en cada uno de los dominios definidos por el componente logístico de la investigación, esta información relaciona los datos cartográficos y geográficos de la muestra a trabajar.
14. Definir Reglas de Validación Cierre de Formulario. Las reglas de validación de cierre de encuestas involucran el ingreso de preguntas de control de flujo de la encuesta, a nivel de vivienda, hogar, personas y capítulos específicos, en donde a través de especificaciones se controla el acceso a determinados capítulos del formulario.
15. Generar Árbol de Usuarios. La definición de un árbol de usuarios y las condiciones de visibilidad del mismo permite definir criterios y reglas de asignación de cargas de trabajo. Todos los usuarios que se incluyen, cualquiera puede realizar un área específica de trabajo, ya que todos tienen la misma distribución de segmentos a recorrer en las jornadas definidas.
16. Descarga Aplicativos FTP. Los instaladores son descargados en formato comprimido (zip) por parte del apoyo de sistemas asignado para cada investigación, el cual tiene un nombre de usuario y una clave de autenticación para acceder a los buzones.
17. Verificación de Distribución de Cargas de Trabajo. El coordinador operativo es el encargado de verificar que la tabla de homologación dispuesta con el aplicativo corresponda a las cargas de trabajo a realizar en esa etapa.
18. Comprobación de Segmentos y Áreas Geográficas. El apoyo informático de las sedes realiza pruebas de escritorio, simulación en campo y se encarga de validar el formulario y la cartografía generada para cada una de las etapas de la encuesta.
19. Captura en Campo. Una vez digitados los datos en los dispositivos móviles de captura - DMC, a través del utilitario backup del aplicativo o copiando directamente las carpetas Survey1, Survey2 y Maps, se debe generar un backup de la información recolectada diariamente por cada encuestador, la tarjeta con dicha información debe ser entregada al supervisor y éste a su vez debe entregarla al apoyo operativo o de sistemas de cada sede o subsede.
20. Consolidación de Información. Consiste en ir almacenando en el computador personal del apoyo de sistema todos los puntos realizados y las novedades presentadas.
21. Registro de Novedades. Se presentan debido a la inclusión de nuevas áreas de trabajo por cambios en la muestra asignada para cada etapa.
22. Transmisión de Información vía FTP. Una vez capturada la información se comprime y se dispone en el buzón FTP creado para cada sede o subsede, para su posterior análisis y procesamiento.
23. Fin. Finalización del proceso.
b) CREACIÓN DE LA ENCUESTA (ORACLE)
Fue necesario contar con el motor de bases de datos ORACLE, en un esquema creado para la investigación que permite el cargue y almacenamiento general de los datos. La base de datos para la ENUT, fue una base de datos relacional en donde cada tabla corresponde a un capítulo de la encuesta. Existe un único registro por vivienda.
Se asignó el número de la encuesta asociado a la investigación y se definieron los tipos de datos, textos de las preguntas, listas de valores asociados, sub-preguntas, entre otros.
Se definieron los formularios y subformularios en relación con los tres niveles básicos de toma de información: Vivienda, Hogar y Personas. Cada uno de los niveles relacionados consta de uno o varios capítulos, de acuerdo. Adicional a lo anterior, se establecieron los flujos y validaciones de todas las preguntas del formulario.
c) DEFINICIÓN FORMULARIO DE CAPTURA - DMC
En la estructura del formulario SysSurvey se asoció a cada pregunta el código equivalente con el código de pregunta en Oracle en el campo "NOTA", incluyendo el número de formulario.
d) ENVÍO DE INFORMACIÓN
Diariamente se envió información de encuestas completas a DANE Central. Para este proceso se utilizó el aplicativo SWIN desarrollado en JAVA que permite generar el árbol jerárquico y el nombre de los archivos generados para ser enviados, donde se hace la consolidación de la información y realizar la transmisión de datos de las encuesta a través del FTP (File Transfer Protocol). Este es un protocolo de red para la transferencia de archivos entre sistemas conectados a una red, basado en la arquitectura cliente-servidor. Desde el equipo cliente (Territorial) las ciudades se conectaban a un servidor para descargar archivos desde él o para enviarlos.
A cada ciudad se le creó un buzón en el servidor FTP del DANE Central, en el cual se dispuso la información de las encuestas completas que se recolectaban diariamente y en cada fecha de cierre, aproximadamente cada 10 días, se colocó toda la información del segmento asignado para recolección (Encuestas completas e incompletas).
e) CONSOLIDACIÓN DE ARCHIVOS
Recibidos los archivos, la información fue almacenada en una estructura jerárquica de acuerdo a la procedencia, supervisor y encuestador. Y se ejecutó el proceso de detección y eliminación de archivos duplicados, utilizando el aplicativo CloneSpy, con el fin de no cargar encuestas repetidas en la base de datos, esta información permaneció encriptada para garantizar la seguridad. Se realizó un proceso de separación de encuestas completas, incompletas y archivos de geo-referenciación a través de aplicativos diseñados en Visual Foxpro con el fin de asegurar que la estructura de la información recibida correspondiera a la investigación asignada y al periodo de referencia. Una vez se seleccionan los archivos que se debían cargar en la base de datos, se realizó el proceso de carga utilizando un aplicativo hecho a la medida en el lenguaje de programación JAVA.
f) CARGUE DE INFORMACIÓN
Al iniciar el proceso de carga se realizó la desencripción de los archivos y verificación de la identificación única para cada encuesta, garantizando que no exista duplicidad en la información. Una vez cargados los datos, se generó un log que indicó el estado y/o posibles fallas presentadas durante el proceso y se procedió a hacer la transposición de toda la información para ser distribuida en las tablas creadas para cada capítulo de la investigación. De esta manera cada tabla está relacionada a cada uno de los niveles que se manejan dentro de la encuesta (vivienda - hogar - persona).
g) CONSISTENCIA DE INFORMACIÓN
A través del desarrollo de sentencias Oracle, se identificaron posibles inconsistencias por duplicidad a nivel de personas y problemas de georeferenciación en el momento de creación de encuestas y selección de segmentos a trabajar. Se generaron reportes de cobertura y frecuencias que permitieron realizar constantemente el monitoreo y control a la información que se recolectó y cargó en las bases de datos. Posteriormente en el esquema diseñado en ORACLE se crearon procedimientos para validar la información de la base de datos, los flujos, variables sin información, rangos y estructura, con el fin de realizar el proceso de adicionar los factores de expansión a las encuestas completas.