Нові мемристори вирішать проблему катастрофічної забудькуватості нейронних мереж

Прогрес у сфері обчислювальних технологій: нові мемристори для вирішення проблеми катастрофічної забудькуватості нейромереж

У Юліхському дослідницькому центрі в Німеччині (FZJ) було розроблено нові мемристори, характеристики яких значно перевищують попередні моделі. Результати дослідження представлено в авторитетному науковому журналі Nature Communications. Автори сподіваються, що ці нові технології допоможуть в подоланні так званої катастрофічної забудькуватості, проблему, що виникає в штучних нейронних мережах як наслідок перезапису даних під час навчання.

Катастрофічна забудькуватість є однією з основних перешкод для розвитку великих мовних моделей, оскільки нові оптимізації можуть знищувати вже набуте знання. Мозок, на противагу цьому, демонструє здатність регулювати синаптичні зміни, використовуючи метапластичність — спеціальний механізм адаптації, що дозволяє зберігати інформацію, незважаючи на нові навчальні дані. Новий мемристор, розроблений німецькими вченими, демонструє подібну здатність.

Професор Ілля Валов з Інституту Петера Грюнберга FZJ підкреслює унікальність нових мемристорів: «Ми можемо використовувати різні режими переключення для управління модулюванням мемристора, що дозволяє зберігати інформацію без втрат». Ця особливість робить мемристори ідеальними кандидатами для використання в нейроподібних комп’ютерах, які відтворюють роботу людського мозку.

Попри значні досягнення в цій галузі, комерціалізація мемристорних технологій відбувається повільніше, ніж очікувалося. Основні причини — високий відсоток бракованих виробів та недостатні ресурси елементів, які вразливі до термічних та механічних впливів, що призводить до частих збоїв. Спільно з німецькими та китайськими колегами, команда науковців змогла вирішити цю проблему, розробивши принципово новий електрохімічний мемристорний механізм, що демонструє стабільність як у хімічному, так і в електричному відношенні.

На сьогодні існують два основні принципи дії мемристорів: електрохімічна металізація (ECM) та механізм зміни валентності (VCM). Відмінності цих технологій значні: у ECM між електродами виникає металева нитка, яка змінює електричний опір, але швидко розчиняється під дією зворотного напруження. У VCM ж опір регулюється рухом іонів кисню на кордоні між електродом та електролітом, що вимагає високих напруг для переключення. Дослідникам вдалося об’єднати переваги обох підходів у новій конструкції.

Новий мемристор використовує нитку з металевих оксидів, а не чисто металеву, що робить його стабільнішим. Професор Валов зазначає: «Нитка завжди присутня в зачатковій формі та лише хімічно змінюється». Цей механізм отримав назву механізм зміни провідності нитки (FCM), завдяки чому нові мемристори показують чудову стабільність, витривалість до високих температур і більший діапазон напруг.

Запровадження мемристорів, що можуть працювати в цифровому і аналоговому режимі, відкриває шлях до створення нейроморфних чіпів, здатних подолати проблему катастрофічної забудькуватості. Вчені вже впровадили новий мемристорний компонент у симуляцію штучних нейронних мереж. Результати дозволили досягти високої точності в розпізнаванні зображень, що підтверджує перспективність розробки.

У майбутньому розробники планують досліджувати нові матеріали для мемристорів, які можуть бути ще більш ефективними та стабільними, що сприятиме подальшому розвитку обчислювальних технологій у напрямку «обчислень в пам’яті» і відкриватиме нові горизонти у використанні штучного інтелекту.