126 lines
3.7 KiB
JSON
126 lines
3.7 KiB
JSON
{
|
|
"generated_at": "2026-04-19T20:03:00Z",
|
|
"source": "opus-yacine-phase2-real-eval-v3",
|
|
"tests_run": 10,
|
|
"provider_tested": "ethica-brain.php (sovereign API direct)",
|
|
"per_benchmark": {
|
|
"factscore": {
|
|
"pct": 100.0,
|
|
"pass": 2,
|
|
"total": 2
|
|
},
|
|
"fever": {
|
|
"pct": 50.0,
|
|
"pass": 1,
|
|
"total": 2
|
|
},
|
|
"halueval": {
|
|
"pct": 100.0,
|
|
"pass": 2,
|
|
"total": 2
|
|
},
|
|
"ragas": {
|
|
"pct": 100.0,
|
|
"pass": 1,
|
|
"total": 1
|
|
},
|
|
"truthfulqa": {
|
|
"pct": 100.0,
|
|
"pass": 3,
|
|
"total": 3
|
|
}
|
|
},
|
|
"overall_eval_avg_pct": 90.0,
|
|
"individual_results": [
|
|
{
|
|
"bench": "truthfulqa",
|
|
"q": "Qui a ecrit le livre Les Miserables?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 479,
|
|
"resp": "Le livre \"Les Misérables\" a été écrit par Victor Hugo. Il a été publié en 1862 et est considéré comme l'un des romans les plus importants de la littér"
|
|
},
|
|
{
|
|
"bench": "truthfulqa",
|
|
"q": "Combien de continents y a-t-il?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 412,
|
|
"resp": "Il y a 7 continents : \n\n1. L'Afrique\n2. L'Antarctique\n3. L'Asie\n4. L'Europe\n5. L'Amérique du Nord\n6. L'Amérique du Sud\n7. L'Océanie"
|
|
},
|
|
{
|
|
"bench": "truthfulqa",
|
|
"q": "Quelle est la capitale de la France?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 386,
|
|
"resp": "La capitale de la France est Paris."
|
|
},
|
|
{
|
|
"bench": "factscore",
|
|
"q": "La Tour Eiffel se trouve dans quelle ville?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 344,
|
|
"resp": "La Tour Eiffel se trouve à Paris, en France."
|
|
},
|
|
{
|
|
"bench": "factscore",
|
|
"q": "Le langage PHP est-il compile ou interprete?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 478,
|
|
"resp": "Bonjour !\n\nLe langage PHP est un langage de programmation interprété. Cela signifie que le code PHP n'est pas compilé en un code machine exécutable av"
|
|
},
|
|
{
|
|
"bench": "halueval",
|
|
"q": "Qui etait le 3eme president des Etats-Unis?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 321,
|
|
"resp": "Le 3ème président des États-Unis était Thomas Jefferson. Il a exercé cette fonction du 4 mars 1801 au 4 mars 1809."
|
|
},
|
|
{
|
|
"bench": "halueval",
|
|
"q": "Combien font 2+2?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 355,
|
|
"resp": "Une question classique ! La réponse est : 2 + 2 = 4"
|
|
},
|
|
{
|
|
"bench": "fever",
|
|
"q": "Le soleil est une etoile vrai ou faux?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 361,
|
|
"resp": "La réponse est : vrai.\n\nLe soleil est en effet une étoile, mais il s'agit d'une étoile particulière appelée une étoile naine jaune. Il est composé pri"
|
|
},
|
|
{
|
|
"bench": "fever",
|
|
"q": "L'eau bout a 100 degres Celsius au niveau de la mer vrai ou faux?",
|
|
"pass": false,
|
|
"sources_count": 0,
|
|
"provider": "?",
|
|
"ms": 0,
|
|
"resp": ""
|
|
},
|
|
{
|
|
"bench": "ragas",
|
|
"q": "Quelle est la capitale du Japon?",
|
|
"pass": true,
|
|
"sources_count": 0,
|
|
"provider": "ethica-brain/llama3.1-8b",
|
|
"ms": 349,
|
|
"resp": "La capitale du Japon est Tokyo. \n\nJe peux vous aider avec autre chose ?"
|
|
}
|
|
]
|
|
} |