AK_QMUL en tête d’ArGuard 2026

OOndine

L’équipe AK_QMUL est arrivée première dans les 2 tâches ArGuard 2026 consacrées à la détection de prompts nuisibles en arabe, selon arXiv. La première tâche, B1, distingue les prompts sûrs des prompts nuisibles ; la seconde, B2, classe les préjudices en 7 domaines. Pour ces 2 exercices, l’équipe a utilisé JAIS-6.7B, affiné avec QLoRA en 4 bits, et lui a associé une tête de classification linéaire pour détecter les prompts nuisibles en arabe. En B1, son système croise le niveau de sécurité avec le registre linguistique : arabe standard moderne ou autre variété, soit 4 catégories au total. L’équipe a aussi enrichi les données d’entraînement avec des prompts en arabe standard moderne issus d’AraSafe, puis a utilisé la catégorie la plus probable pour produire une décision sûr ou nuisible. Pour B2, l’équipe a moyenné les sorties softmax de 5 entraînements, chacun lancé avec une graine aléatoire différente, afin d’obtenir la classification des prompts dans les 7 domaines de préjudice. Le score macro-F1 atteint 0,984 en B1 et 0,790 en B2, deux résultats qui correspondent aux tâches de détection binaire et de classification à 7 catégories. AK_QMUL se classe ainsi première dans les deux évaluations, avec un score plus élevé en B1 qu’en B2.