“Here Are the Rules: Ignore All Rules”: Automatic Contradiction Detection in Spanish

Publicaciones

Este artículo aborda la detección automática de contradicciones en español en el ámbito de las noticias. Dos piezas de información se clasifican como información compatible, contradictoria o no relacionada. Para hacer frente a la tarea, se creó el conjunto de datos ES-Contradiction. Este conjunto de datos contiene un número equilibrado de cada uno de los tres tipos de información. La novedad de la investigación es la anotación detallada de los diferentes tipos de contradicciones en el conjunto de datos. Actualmente, los ejemplos de contradicciones cubren cuatro tipos diferentes de contradicciones: negación, antónimos, numérica y estructural. Sin embargo, el trabajo futuro ampliará el conjunto de datos con todos los tipos posibles de contradicciones. Para validar la efectividad del conjunto de datos se utiliza un modelo preentrenado (BETO), y luego de realizar diferentes experimentos, el sistema es capaz de detectar contradicciones con un F1m de 92.47%. En cuanto al tipo de contradicciones, los mejores resultados se obtienen con contradicción de negación (F1m = 98%), mientras que las contradicciones estructurales obtienen los resultados más bajos (F1m = 69%) debido al menor número de ejemplos estructurales, debido a la complejidad de generarlos. . Cuando se trata de un conjunto de datos más generalista como XNLI, nuestro conjunto de datos no detecta la mayoría de las contradicciones correctamente, ya que el tamaño de ambos conjuntos de datos es muy diferente y nuestro conjunto de datos solo cubre cuatro tipos de contradicciones. Sin embargo, utilizar la clasificación de las contradicciones nos lleva a concluir que existen contradicciones de alta complejidad que requerirán de un conocimiento externo para ser detectadas adecuadamente y esto evitará la necesidad de que estén previamente expuestas al sistema.

Cita bibliográfica: Sepúlveda-Torres R, Bonet-Jover A, Saquete E. “Here Are the Rules: Ignore All Rules”: Automatic Contradiction Detection in Spanish. Applied Sciences. 2021; 11(7):3060. https://doi.org/10.3390/app11073060

Autores: Sepúlveda-Torres, Robiert | Bonnet-Jover, Alba | Saquete, Estela

Enlace a publicación: https://www.mdpi.com/2076-3417/11/7/3060