⭕️
فراموشی گزینشی به یادگیری #هوش_مصنوعی کمک میکند
شیوه آموزشی کنونی قدرت محاسباتی زیادی لازم دارد و اگر مدل خوب کار نکند یا نیاز کاربر تغییر کند، تطبیق آن دشوار است.
در این حال «میکل ارتکست» بنیانگذار استارتاپ هوش مصنوعی «ریکا» و همکارانش تلاش کردهاند تا بر این محدودیتها غلبه کنند. این محققان پس از آموزش مدل به یک زبان تمام «توکن»های آن زبان را پاک کردند و مدل را به یک زبان دیگر آموزش دادند که لایههای مربوطه را با توکنهای جدید هماهنگ کرد.
هر چند که این مدل دربردارنده اطلاعات نامربوط بود اما این بازآموزی جواب داد؛ این مدل توانست زبان جدید را یاد بگیرد و پردازش کند. این محققان می گویند که سطوح عمیقتر شبکه کار ذخیره سازی اطلاعات انتزاعیتر را انجام می دهد که این به یادگیری زبان دوم کمک می کند.
این محققان نتیجه گیری کردند که به نظر می رسد فراموشی هر از گاهی موجب بهبود کار مدلهای زبانی در یادگیری زبان بطور کلی می شود. این رویکرد همانند شیوه کار مغز انسان ها است. مغز انسان به جای حفظ کردن حجم زیادی از اطلاعات مبسوط، کلیات تجارب را به یاد میسپارد.
🌐
https://eitaa.com/science_ai