سیستمی برای ارزیابی و رتبه‌بندی مدل‌های زبانی (LLM) فارسی راه‌اندازی شد
سیستم جامع ارزیابی مدل‌های زبانی فارسی برای رتبه‌بندی LLM-های فارسی راه‌اندازی شد.
آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر و مرکز تحقیقات هوش مصنوعی پارت، برای ارزیابی مدل‌های زبانی (LLM) فارسی، سیستم جدیدی رونمایی کردند. این سیستم شامل جدول رتبه‌بندی و ابزارهای ارزیابی پیشرفته‌ای است که عملکرد مدل‌های مختلف در حوزه‌هایی مانند درک متن و پاسخ‌دهی را مقایسه می‌کند.
توسعه‌دهندگان Open Persian LLM Leaderboard با اشاره به اینکه سیستم‌های ارزیابی پیشین، مدل‌های زبانی فارسی را صرفا با سطح دانش دبیرستان محک می‌زدند، ادعا می‌کنند که سیستم جدید قابلیت ارزیابی مدل‌ها در سطح کارشناسی ارشد و عرصه‌های گوناگون از جمله پزشکی، اقتصاد، صنعت، منطق و مهندسی را ارائه می‌دهد. به‌گفته‌ی توسعه‌دهندگان، این چهارچوب ارزیابی با بیش‌از ۴۰هزار نمونه توسعه داده شده و تعداد نمونه‌ها به‌طور مستمر در حال افزایش است.
قرار است سیستم جامع ارزیابی مدل‌های زبانی فارسی به توسعه‌دهندگان کمک کند تا مدل‌های خود را براساس معیارهای استاندارد ارزیابی کنند و کیفیت آن‌ها را بهبود دهند. ظاهرا بخشی از قابلیت‌های سیستم ارزیابی جدید به‌صورت متن‌باز در وب‌سایت HuggingFace هم قرار گرفته است تا دسترسی پژوهشگران و توسعه‌دهندگان به این سیستم ساده‌تر باشد.
مطالب مرتبط
- جنجال بلاگر حیوانات در شبکههای اجتماعی که از سلبریتیها هم مشهور شدند / این حیوانات از تو و من بیشتر پول درمیارن!
- لاپورتا بیخبر به کمک بارسلونا آمد!
- نماینده هرمزگان: توانیر قول داد استان از جدول خاموشی خارج شود
- سکه Sui به بالاترین سطح تاریخی خود رسید؛ ۱۸٪ افزایش قیمت و جایگاه یازدهم در ردهبندی ارزهای دیجیتال
- رکوردشکنی صندوق ETF بیت کوین بلکراک ادامه دارد
- خبر مهم از تغییر قیمت بنزین/ تصمیم جدید وزارت نفت اعلام شد
- تصاویر دیده نشده از سرتیم حفاظت رییسی؛ ببینید | روایتی جالب از سردار موسوی و پدرش در نجف
- مذاکرات روز یکشنبه در عمان در سطح مقامات ارشد برگزار میشود/ ویتکاف بدون تیم فنی به مذاکره با ایران میرود
