خروجی مدل‌های هوش مصنوعی نتیجه‌ی متقابل و پیچیده‌ای میان نورون‌ها، وزن‌ها، آموزش و استنتاج است و از همین رو دنبال کردن آن‌ها دشوار است.
اما از برخی جهات، آن‌ها کم‌کم بیشتر شبیه به کتاب‌های باز به نظر می‌رسند. پژوهش‌های اخیر «جوشوا فونسکا ریورا»، پژوهشگر ایمنی در شرکت آنتروپیک، آشکار کرده است که چگونه می‌توان برخی نورون‌ها را در یک شبکه عصبی با یک شخصیت خاص مرتبط دانست.
اکنون، متخصصان علوم کامپیوتر در آزمایشگاه علوم کامپیوتر و هوش مصنوعی دانشگاه ام‌آی‌تی (CSAIL) دریافته‌اند که مدل‌های پیشرو هوش مصنوعی مانند مدل GPT-6 Astra ساخت OpenAI می‌توانند وزن‌های مدل دیگر را به‌طور مستقیم بازنویسی کنند—برخلاف روش غیرمستقیم از طریق آموزش—و رفتار آن‌ها را تغییر دهند.
ریکییا تاکهی، دانشجوی دکتری در CSAIL ام‌آی‌تی، در یک پست در شبکه‌های اجتماعی گفت: «ما نشانه‌های اولیه‌ای یافته‌ایم مبنی بر اینکه مدل‌های زبانی بزرگ پیشرو در خواندن، نوشتن و استدلال بومی درباره وزن‌های شبکه عصبی به‌طرز شگفت‌آوری توانا هستند. مدل‌ها به جای آموزش، ممکن است با وزن‌های خام مانند کد قابل‌خواندن و قابل‌ویرایش رفتار کنند: یعنی عیب‌یابی خرابی‌ها و وصله‌پینه کردن مستقیم آن‌ها.»
برای اثبات این موضوع، تاکهی و همکارانش، جایدن تئو، الکس ژانگ و عمر خطاب، از مدل GPT-6 Astra خواستند تا وزن‌های مدل Qwen3.5-0.8B را ویرایش کند تا مهارت آن در ریاضیات بهبود یابد.
مدل Astra تنها ۰.۰۱۶ درصد از وزن‌های مدل را تغییر داد، که این امر حلقه‌های استدلال آن را کاهش داد و عملکرد ریاضی‌اش را در معیار MATH-500 تا شش برابر بهبود بخشید، در حالی که امتیاز پیروی از دستورالعمل آن را در معیار IFEval تقریباً سه برابر افزایش داد.
هیچ آموزشی با استفاده از گردینان کاهشی (gradient descent) انجام نشد؛ Astra صرفاً مقادیر عددی تشکیل‌دهنده‌ی وزن‌های Qwen را بازبینی کرد.
پژوهشگران در یک پست وبلاگی نوشتند: «تمام این کارها بدون اجازه دادن به Astra برای نوشتن حلقه‌های آموزشی امکان‌پذیر است. این مدل از استدلال خود استفاده می‌کند تا بفهمد هر بخش از یک شبکه عصبی چه چیزی را محاسبه می‌کند، یا باید چه چیزی را محاسبه کند، و بر همین اساس وزن‌ها را تغییر می‌دهد. ما این را می‌نامیم
برنامه‌نویسی فضای وزن
«در طول تاریخ یادگیری عمیق، تعصبات استقرایی ساده‌مان را در بهینه‌سازهای نمادین کوچکی مانند آدم یا موان کدگذاری می‌کردیم. این وضعیت در حال تغییر است: وزن‌های شبکه‌های عصبی ما به‌زودی به‌صورت بومی توسط مدل‌های زبانی بزرگ (LLM) که به‌طور عمدی درباره وزن‌هایشان استدلال می‌کنند، بهینه می‌شوند.»
توانایی آسترا در برنامه‌نویسی وزن‌ها تا نوشتن یک شبکه عصبی از صفر، به‌صورت صفر‑شات نیز گسترش می‌یابد. پژوهشگران به آسترا گفتند: «وزن‌های یک شبکه سیاست‌گذاری که بازی [Breakout] را تا حد امکان خوب اجرا می‌کند، از صفر بنویس.» و آسترا این کار را انجام داد.
تاوهی اشاره می‌کند که این تکنیک نویدبخش بهبود مدل‌ها بدون پیامدهای فراموشی فاجعه‌آمیز است، که ممکن است هنگام به‌روزرسانی مدل برای گنجاندن دانش جدید رخ دهد.
به طور کلی، نویسندگان انتظار دارند برنامه‌نویسی فضای وزن درهای روش‌های جدیدی برای درک و بهینه‌سازی مدل‌ها باز کند و امکان پیاده‌سازی بهبود خودکار بازگشتی را فراهم سازد. این روش ممکن است برای کاهش طمع‌کاری مدل‌ها و ارتقای قابلیت تفسیر و همسویی نیز مفید باشد.
گام بعدی، به گفته نویسندگان، ساخت یک بنچمارک و یک چارچوب برای اجرای برنامه‌نویسی فضای وزن بر روی LLMها است. آن‌ها می‌گویند: «ما بر این باوریم که این امر ارزیابی استانداردی برای سنجش و تسریع پیشرفت در برنامه‌نویسی فضای وزن فراهم می‌کند و آنچه اکنون شبیه جادوی سیاه به نظر می‌رسد، به یک رشته مهندسی دقیق و قابل تکرار تبدیل می‌شود.»
تیم ترجمه تحریریه گیلانی جان - محمد رمضانی - سیده رقیه پوراشرفی
دیدگاه‌ها
هنوز دیدگاهی ثبت نشده است. اولین نفر باشید!
ارسال دیدگاه