Le développement de très grands modèles de langue, capables de prendre en charge de multiples analyses automatiques de textes, implique de développer en parallèle l'infrastructure requise pour évaluer ces modèles, en couvrant idéalement le plus de tâches possible. De nombreux ensembles de données de référence ont ainsi été rassemblés pour la langue anglaise, permettant d'évaluer ces gigas modèles sous de multiples facettes. Il existe également des jeux de test multilingues, avec une couverture bien moindre, qui sont utilisés pour mesurer la capacité de ces modèles à traiter plusieurs langues. Dans cet article, nous présentons nos propres efforts pour assembler un ensemble d'évaluation multi-tâche pour le français, qui est ensuite utilisé pour évaluer les modèles de la famille BLOOM. Les résultats présentés ici confirment et complémentent les principaux résultats d'évaluation de BLOOM en anglais; ils permettent de conclure que les performances obtenues en français et en anglais sont très voisines, et encore meilleures lorsque les amorces utilisés pour l'inférence en contexte sont rédigées dans la même langue que les textes soumis à l'analyse.