Les modèles Bloom pour le traitement automatique de la langue française - ANR - Agence nationale de la recherche Access content directly
Preprints, Working Papers, ... Year : 2024

Les modèles Bloom pour le traitement automatique de la langue française

Abstract

The development of very large language models, capable of performing a large range of automatic language processing tasks, simultaneously requires to develop the infrastructure needed to evaluate these models, ideally covering as many tasks as possible. Numerous benchmarks have already been compiled for the English language, making it possible to evaluate these large models from multiple angles. Several multilingual test sets are also available, with a much lesser coverage, which are used to measure the ability of these models to handle multiple languages. In this paper, we present our efforts to assemble a multi-task evaluation set for French, which is then used to evaluate models from the BLOOM family. Our results confirm and complement the main evaluation results for BLOOM in English; they allow us to conclude that the performances obtained in French and English are very similar and even better when the prompts used at inference are written in the same language as the texts to analyze.
Le développement de très grands modèles de langue, capables de prendre en charge de multiples analyses automatiques de textes, implique de développer en parallèle l'infrastructure requise pour évaluer ces modèles, en couvrant idéalement le plus de tâches possible. De nombreux ensembles de données de référence ont ainsi été rassemblés pour la langue anglaise, permettant d'évaluer ces gigas modèles sous de multiples facettes. Il existe également des jeux de test multilingues, avec une couverture bien moindre, qui sont utilisés pour mesurer la capacité de ces modèles à traiter plusieurs langues. Dans cet article, nous présentons nos propres efforts pour assembler un ensemble d'évaluation multi-tâche pour le français, qui est ensuite utilisé pour évaluer les modèles de la famille BLOOM. Les résultats présentés ici confirment et complémentent les principaux résultats d'évaluation de BLOOM en anglais; ils permettent de conclure que les performances obtenues en français et en anglais sont très voisines, et encore meilleures lorsque les amorces utilisés pour l'inférence en contexte sont rédigées dans la même langue que les textes soumis à l'analyse.
Fichier principal
Vignette du fichier
bloominfrance.pdf (551.12 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Licence

Dates and versions

hal-04435371 , version 1 (02-02-2024)

Licence

Identifiers

  • HAL Id : hal-04435371 , version 1

Cite

Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, et al.. Les modèles Bloom pour le traitement automatique de la langue française. 2024. ⟨hal-04435371⟩
218 View
239 Download

Share

Gmail Mastodon Facebook X LinkedIn More