Evaluación
En este módulo, diseñaremos el poderoso marco de evaluación utilizado para medir la utilidad y aplicabilidad de la extracción de entidades digitales, como las relaciones semánticas de los modelos de lenguaje aplicados a los diferentes escenarios definidos. Además, nuestro objetivo es analizar las métricas existentes y/o definir nuevas métricas, si es necesario, para evaluar los recursos creados, así como las técnicas aplicadas. Esta evaluación se implementará realizando las siguientes tareas:
Tarea 5.1. Diseño Experimental y Seleccón de Métricas de Evaluación (para cada escenario)
En esta tarea, analizaremos las métricas de evaluación preexistentes y definiremos nuevas métricas, si es necesario, para medir las técnicas creadas y/o utilizadas. Para hacer esto, se desarrollará una serie de experimentos para:
- Evaluación intrínseca de los recursos y técnicas de manera independiente: determinaremos métricas cualitativas y cuantitativas para medir las tecnologías utilizadas en el proyecto. Esto es necesario para determinar cuál de las métricas ya existentes se puede utilizar en el proyecto y, si es necesario, definir nuevas medidas específicas para algunas de las tareas en el proyecto.
- Evaluación extrínseca: esto permite la integración de las tecnologías aplicadas a los escenarios considerados. La integración de las tecnologías del módulo desarrollado en el módulo anterior se medirá para cada escenario para demostrar la validez del módulo.
Tarea 5.2. Ejecución Experimental
Una vez que los experimentos y las métricas de evaluación se hayan diseñado, esta tarea se dirigirá hacia la ejecución de los experimentos para determinar el progreso logrado desde un punto de vista científico para cada escenario definido. La ejecución experimental nos permitirá ajustar y reconfigurar diferentes diseños experimentales para una mejor configuración de los algoritmos propuestos durante la ejecución del proyecto.
Tarea 5.3. Análisis de Resultados
En esta tarea, los resultados obtenidos durante la ejecución de los experimentos estarán sujetos a un amplio análisis y discusión por parte de los investigadores que participan en el proyecto. Extraeremos métricas cuantitativas y estadísticas que nos permitirán interpretar estos resultados en relación con las diferentes configuraciones aplicadas en las diferentes propuestas científicas desarrolladas en el proyecto.
Tarea 5.4. Estudio de Transferencia y Viabilidad (Aplicabilidad)
Tras la ejecución de los diferentes experimentos y el análisis de los resultados, llevaremos a cabo las siguientes acciones:
- Integración de las herramientas desarrolladas dentro del marco del programa con otras plataformas existentes: prevención de suicidios en foros, detección de acoso en redes sociales, diseminación de fake news en medios digitales, etc.
- Creación de una herramienta final que pueda ajustarse para diferentes objetivos siguiendo diferentes niveles de credibilidad: cada posible escenario detectado por la herramienta se enmarcaŕa dentro de un umbral de credibilidad ajustable.
- Creación de una herramienta final que incluya diferentes niveles de alerta para la detección temprana de ciertas situaciones o comportamientos y el seguimiento de perfiles susceptibles a algún tipo de conflicto, rechazo social, etc.
Hitos
- Diseño de experimentos de evaluación para cada escenario, eligiendo las métricas más adecuadas para cada uno.
- Ejecución experimental.
- Análisis de los resultados experimentales.
- Estudio de la aplicabilidad real de la aplicación (transferencia y viabilidad).