Искусственный интеллект, нейросети
167,660
974
|
Zkvxz ( Слушатель ) |
| 10 сен 2024 07:23:25 |
Дегенеративный ИИ
новая дискуссия Дискуссия 130
.... В одном примере исследователи снова и снова обучали большую языковую модель на ее собственных предложениях, прося ее выполнить одну и ту же подсказку после каждого раунда. Когда они попросили ИИ завершить предложение, которое начиналось со слов «Чтобы приготовить индейку на День благодарения, вы…». Даже в самом начале ИИ «галлюцинирует». Но когда исследователи продолжили обучать его на собственных предложениях, он стал намного хуже… После двух поколений он начал просто печатать длинные списки. А после четырех поколений он начал бессвязно повторять фразы. «Модель отравляется собственной проекцией реальности», — писали исследователи об этом явлении.
Эта проблема не ограничивается только текстом. Другая группа исследователей из Университета Райса изучала, что произойдет, если типы ИИ, которые генерируют изображения, будут многократно обучаться на собственных выходных данных — проблема, которая может уже возникать, поскольку изображения, генерируемые ИИ, наводняют сеть. Они обнаружили, что в выходных данных ИИ начали накапливаться сбои и артефакты изображений, в конечном итоге создавая искаженные изображения со сморщенными узорами и изуродованными пальцами. Когда модели изображений ИИ обучаются на собственных выходных данных, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры.
«Вы как бы дрейфуете в части пространства, которые похожи на бесполетную зону», — сказал Ричард Баранюк, профессор, который руководил исследованием моделей изображений ИИ. Исследователи обнаружили, что единственный способ предотвратить эту проблему — убедиться, что ИИ также обучается на достаточном количестве новых реальных данных. Хотя селфи, безусловно, не в дефиците в Интернете, могут быть категории изображений, где вывод ИИ превышает количество подлинных данных, заявили они. Например, сгенерированные ИИ изображения в стиле Ван Гога могут превзойти по количеству реальные фотографии картин Ван Гога в обучающих данных ИИ, и это может привести к ошибкам и искажениям в дальнейшем. (Исследователи заявили, что ранние признаки этой проблемы будет трудно обнаружить, поскольку ведущие модели ИИ закрыты для внешнего контроля.)..
Читать полностью в New York Times
Эта проблема не ограничивается только текстом. Другая группа исследователей из Университета Райса изучала, что произойдет, если типы ИИ, которые генерируют изображения, будут многократно обучаться на собственных выходных данных — проблема, которая может уже возникать, поскольку изображения, генерируемые ИИ, наводняют сеть. Они обнаружили, что в выходных данных ИИ начали накапливаться сбои и артефакты изображений, в конечном итоге создавая искаженные изображения со сморщенными узорами и изуродованными пальцами. Когда модели изображений ИИ обучаются на собственных выходных данных, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры.
«Вы как бы дрейфуете в части пространства, которые похожи на бесполетную зону», — сказал Ричард Баранюк, профессор, который руководил исследованием моделей изображений ИИ. Исследователи обнаружили, что единственный способ предотвратить эту проблему — убедиться, что ИИ также обучается на достаточном количестве новых реальных данных. Хотя селфи, безусловно, не в дефиците в Интернете, могут быть категории изображений, где вывод ИИ превышает количество подлинных данных, заявили они. Например, сгенерированные ИИ изображения в стиле Ван Гога могут превзойти по количеству реальные фотографии картин Ван Гога в обучающих данных ИИ, и это может привести к ошибкам и искажениям в дальнейшем. (Исследователи заявили, что ранние признаки этой проблемы будет трудно обнаружить, поскольку ведущие модели ИИ закрыты для внешнего контроля.)..
Читать полностью в New York Times
ОТВЕТЫ (1)
|
small__virus ( Слушатель ) |
| 10 сен 2024 10:20:37 |
Цитата: Zkvxz от 10.09.2024 07:23:25
И что тут не понятного?.
Давайте немножко на пальцах, как это все работает. Очень упрощенно и утрированно.
Сначала нейросеть обучают распознавать изображения. Вот это стул, это стол. Причем, никаких правил, типа "рука растет из плеча, а не из жопы" или "пальцев пять" нет. Это потом как то довкладывать научились.
Так же учат стилям - скармливают кучу картинок, вкладывая в модель, что в этом стиле стул и стол выглядят так, а в том - вот так.
Следующий шаг, нет, не генерация. Следующий шаг восстановление изображений. Берется поврежденное, и на основе пытается вытянутся оттуда информация. Естественно, с корректировкой обучения.
И вот только следующий шаг - берется чистый шум, и из него нейросеть заставляют "вытягивать" нужные изображения. Напрямую она ничего не генерирует. Хотя некоторые связанные объекты "додумать" может. Например, в лесу - ручей и цветы, случайную птичку или зверя. Выбрать цвет одежды на персонаже или вообще какая она.Т.е. из "облака связанных вещей", которые могу попадаться на изначальных картинах. И т.д., причем они, так же, определяются чистейшим рандомом и тем, чему обучали.
По большому счету, что будет сгенерировано, можно сказать, определяется первоначальным шумом и алгоритмами (и данными обучения) для "восстановления".
Теперь нужно вспомнить, что такое нейросеть "в большом смысле".
Утрированно, это граф, зависящий от входящих параметров.
А теперь возвращаемся в институт.
Есть черный ящик. Который что-то там делает (не важно что, вон, выше описано). Его входные данные - это шум и полезные данные. Что-то мы на выходе имеем. Утрированно - смесь данных и шума, но в том виде, которые нас устраивают. Пока устраивают.
Но. Теперь представьте, черный ящик, в который вместо данных с каждым шагом начинают подаваться данные с шумом. Этого шума в выходных данных с каждым шагом будет все больше и больше, пока... правильно, мы не приходим к ситуации, что на входы черного ящика идет шум. Естественно, что на выходе будет тоже шум. Каким-то образом упорядоченный и структурированный, но все равно, шум.
______
Это если так, упрощенно и крайне утрированно, просто для понимания.