Tim model besar SuperGPQA dari Sumber TerbukaBenchmark pengujian model SUPER

Data Emas 10 Maret, menurut pesan resmi tim model besar Kacang, baru-baru ini, tim model besar Kacang melakukan Benchmark Sumber Terbuka SuperGPQA, yang memiliki penalaran pengetahuan yang komprehensif dan berbeda tinggi di berbagai bidang. Dataset ini mencakup 285 subjek tingkat sarjana, dengan sistem evaluasi yang terdiri dari 26.529 pertanyaan spesifik. Selain mencakup subjek-subjek utama, dataset ini juga mencakup subjek-subjek panjang ekor seperti industri ringan, pertanian, ilmu layanan, menunjukkan cakupan subjek yang luas secara komprehensif serta mengisi kesenjangan dalam evaluasi pengetahuan panjang ekor.