IT в России и мире в реалиях мирового кризиса
1,290,201 7,816
 

  Luddit ( Слушатель )
20 июн 2023 18:39:05

Еще о самостоятельном существовании ИИ

новая дискуссия Дискуссия  193

С хабра:
"...обучение больших языковых моделей на контенте, произведённом другими моделями, вызывает дегенеративный процесс, который с течением времени заставляет модели забывать истинное базовое распределение вероятностей. Они назвали это явление коллапсом модели. Математика показывает, что «через несколько поколений текст становится мусором»
...Второй способ предполагает использование в обучении только новых, «чистых», сгенерированных человеком датасетов. Исследователи обращают внимание, что для этого потребуются определённые усилия со стороны производителей контента или компаний, занимающихся искусственным интеллектом; им придётся разработать и внедрить механизм массовой маркировки контента."
https://habr.com/ru/news/742914/
  • +0.09 / 4
  • АУ
ОТВЕТЫ (27)
 
 
  Азъ ( Слушатель )
20 июн 2023 22:16:36


Я обратил бы обратил Ваше внимание еще и на эту статью, она интересна в плане профанации и подгона результатов.
Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории

ЦитатаВоспроизводимость в Computer Science

В Arizona State University (который по количеству студентов, к слову, в 2 раза больше МГУ) на программистском факультете сделали специальный сайт http://repeatability.cs.arizona.edu/, посвященный проведенному у них исследованию воспроизводимости результатов в 601 статье из журналов и конференций ACM. Получилась такая картина:



Источник: Repeatability in Computer Science

106 статей они не проверили, поскольку не хотели нарушать чистоту эксперимента (они писали авторам и запрашивали код), в оставшихся: 

  • в 93 статьях (19%) нет кода, либо было железо, с которым они не могли сравниться,

  • в 176 статьях (35%) авторы не предоставили код,

  • в 226 статьях (46%) код был, в 9 (2%) его не удалось собрать, а у 87 (64 + 23) статей (18%) на решение проблем сборки проекта ушло больше получаса (в 23-х случаях проблемы устранить не удалось, но автор заверил, что «приложи больше усилий» всё бы собралось).




PS Просто не все нужно и можно обрабатывать нейронками.
  • +0.02 / 1
  • АУ
 
 
  gb ( Слушатель )
21 июн 2023 17:55:14
Сообщение удалено
gbooth
19 сен 2023 11:00:09
Отредактировано: gbooth - 19 сен 2023 11:00:09

  • +0.01
 
 
 
  Азъ ( Слушатель )
21 июн 2023 18:31:26

Вот с этим спорить даже не стану)))
На прошлой неделе было интересное общение.
Могу ошибаться, но как понял, что в биоинформатике не применимы нейронки, что меня сильно удивило.
И сделал для себя вывод, просто готовить надо правильно.
  • +0.00 / 0
  • АУ
 
 
 
 
  gb ( Слушатель )
21 июн 2023 18:55:17
Сообщение удалено
gbooth
19 сен 2023 11:00:07
Отредактировано: gbooth - 19 сен 2023 11:00:07

  • +0.05
 
 
 
 
 
  Азъ ( Слушатель )
21 июн 2023 19:37:02

А вот тут я Вам могу помочь, в обмен на вашу помощь.
Можем перейти в личку?


PS Возможно смогу помочь
  • +0.00 / 0
  • АУ
 
 
 
  adolfus ( Слушатель )
21 июн 2023 23:42:05

Ага, доказана – бумага, она все стерпит.
Во-первых, не любая, а во-вторых, под нейросетью в случае возможности ей таки аппроксимировать лежит издревле известный линейный метод (аппроксимирующая функция представляет собой конечную сумму взвешенных базисных функций, причем, не обязательно ортогональных). 
Самый распространенный пример – RBF-сети. При этом классические методы аппроксимации в RBF-базисе на порядки более производительны и всегда сходятся к правильному решению, а ресурсов на это требуется вообще мизер – задачи аппроксимации в RBF-базисе, которые решались в начале 90-х на i386DX c 16M памяти, на нейросетях неподъемны даже на современных архитектурах, специально заточенных для работы с НС. Отдельный вопрос со сходимостью, которая у НС ниже плинтуса – реально процесс почти всегда застревает в локальной ямке, в результате точность в лучшем случае будет около процента.
  • +0.00 / 0
  • АУ
 
 
 
  GrinF ( Слушатель )
22 июн 2023 01:14:49

чушь... мера аппоксимации определеттся класом функций - одни синусоидами хорошо аппрксимиуютя, другие дробно-линейными функциями, третьи синусоидами
  • +0.00 / 0
  • АУ
 
 
 
 
  psv ( Слушатель )
22 июн 2023 13:38:51

ну считайте что нейронка сама конструирует оптимальный базис разложенияУлыбающийся
  • +0.00 / 0
  • АУ
 
 
 
 
 
  GrinF ( Слушатель )
22 июн 2023 15:48:16

ага ... только ее нужно обучить на бесконечном материале - ибо пространства функций бесконечномерные... Перечислите мне в этом разделе все множество натуральных чисел..,

Слбственно даже базисов ортогональных полнимов бесконечное количество - уварова достаточно почитать , что бы строить.
  • +0.04 / 2
  • АУ
 
 
 
 
 
 
  psv ( Слушатель )
22 июн 2023 16:29:16

ну если начать выкидывать инварианты, то не так уж их и много (по сравнению с начальных числом). Да и ряд ортогональный как ни крути сходится к решению... а который не сходится так и не нужен в хозяйстве... Там где упираются в бесконечную точность практически всегда налажали с постановкой задачи.
  • +0.01 / 1
  • АУ
 
 
 
 
 
 
 
  GrinF ( Слушатель )
22 июн 2023 23:58:30

Какие нахер инварианты например в гильбертовом пространстве L^2 ,  или в пространстве Шварца медленных функций.

Это уже есл не вспоминать что существуют нелинейные задачи с динамическим хаосом...
Как- в уравнении навье-стоксаи чего аппроксимировать даже люди не знают, а тут блин нечто посадили - оно лучше разберётся... Кхе-кхе ... Noise in - noise out
  • +0.06 / 5
  • АУ
 
 
 
 
 
 
 
 
  psv ( Слушатель )
23 июн 2023 08:19:18

Скочки вашей мысли весьма забавны и шумоподобны. Какое отношение к инвариантам разложения в ряд имеют пространства?
При чем тут хаос и прочие математические биллиарды? Вы что считаете что "оригинальная система" у вас будет воспроизводить свою траекторию состояний при запуске из того же положения???Улыбающийся)))
Короче вам надо бы смириться.. ну или идти редактировать педивикии на тему "невозможность аппроксимации нейросетью дифференцируемой функции"ТМ
  • -0.05 / 4
  • АУ
 
 
 
 
 
 
 
 
 
  GrinF ( Слушатель )
30 июн 2023 23:57:53

Ещё раз русскими черными буквами на белом фоне... Инвариантов бесконечное количество, алгоритмов аппроксимации бесконечное количество, количество базисов бесконечное количество- никакой конечный детерминированный автомат не выберет из бесконечного множества оптимального представителя методом перебора... До усерачки мне можете доказывать обратное... А стало быть никакой оптимальной аппроксимации не будет никогда, пока не скоратят пространство поиска до конечномерного и тогда уже можно думать о каком оптимальном алгоритме аппроксимации
  • +0.02 / 1
  • АУ
 
 
 
 
 
 
 
 
 
 
  psv ( Слушатель )
01 июл 2023 00:04:58

До усрачки можете вы мне рассказывать мне что "манифолд непознаваем"Улыбающийся)) Вернее "неописуем" ибо "дури столько что писал бы и писал".Улыбающийся
Вы вообще "то что моделируется" от того "как моделируется" отличаете?
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
 
 
 
  GrinF ( Слушатель )
01 июл 2023 10:20:17

Мадемуазель Собак слыла культурной девушкой: в ее словаре было около ста восьмидесяти слов. При этом ей было известно одно такое слово, которое Эллочке даже не могло присниться. Это было богатое слово: гомосексуализм. Фима Собак, несомненно, была культурной девушкой.(с)
  • +0.02 / 1
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
  psv ( Слушатель )
01 июл 2023 10:24:12

Или педивикию редактируй обогащенный ты наш. Ну и не пей столько на выходных, козл... а прочем тебе уже можно.
  • -0.04 / 2
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
 
  GrinF ( Слушатель )
01 июл 2023 23:18:34

Иди фуй. Знаешь направление этого вектора.
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  psv ( Слушатель )
02 июл 2023 00:22:23

Ты я вижу оттуда вещаешь не слезаяУлыбающийся Чего ты дурашка квакаешь про вещи в которых только языком работать можешь?
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
  Balamut ( Слушатель )
07 июл 2023 06:20:42

Что будет если скрестить ужа с ежом ответ колючая проволока, Так вот весь наш процесс познания похож на обратную задачу как у вселенной в процессе эволюции из колючей проволоки получились уж и ёж и тут начинается каша в головах и чем дальше тем все печальнейУлыбающийся  А всего то нужно начать с начала. Во первых Вселенная, природа называйте как хотите умеет считать в лучшем случае до четырёх а всю остальную математику придумали люди, говорят что математика универсальный язык природы, проблема в том что в ней очень трудно понять что относится к физической реальности а что к абстракции, поэтому люди придумали физику где с помощью наблюдения, эксперимента и математики пытаются отделить мух от котлет и тут то и начинается каша в головах потому что перепутали такое понятия как Простое и Сложное. Тут хотелось бы пояснить, что Простое не значит примитивное в каком то смысле нет ничего более сложного чем самое простое тем более что Вселенная эволюционировала от простого к сложному, поэтому мне непонятна вся эта каша ведь существует понятие Колмогоровская сложность которая хоть и относится к теории информации но на мой взгляд имеет универсальный смысл. Возьмем для примера попытки обобщения ОТО и квантовой механики бьются давно и пока безуспешно а всего то нужно задаться правильным вопросом было ли то время в истории эволюции Вселенной когда эти теории не имели смысла, потому что не было условий состояния системы из которой можно было вывести эти теории. Вернемся к математике, что является фундаментом математики на каком основании люди построили ее, фундаментом математики является геометрия мы в прошлом живя в пещерах на стенах рисовали не математические формулы а отпечатки своих ладоней, животных самих себя пользуясь геометрией да даже любые буквы, ироглифы, цифры это тоже геометрия, попробуйте с помощью математики описать человеческие эмоции радость, злость, удивление возможно это и можно сделать но интуитивно понятно что
матиматическая сложность такого описания будет очень болшой а с помощью геометрии это делается простоВеселый ЗлойШокированный спрашивается и зачем Вселенной сложности. Проведем мысленный эксперимент возьмем точку и уберем все лишнее размер, температуру, плотность и так далее и о ужас даже время  оставим только геометрию самой точки и где здесь место теории относительности или квантовой маханики а также высшей математике тем не мение физики такое состояние системы пытаются описать с помощью математического аппарата сложность которого понимают мягко говоря не все, тем не мение в этой точке потенциально заключена вся Вселенная в нынешнем состоянии, в этот эксперимент останется добавить динамику которая неизбежно возникает из самой геометрии чтобы дальнейшия эволюция геометрии создала окружающую реальность такой какой мы видим ее сейчас . нужно просто помнить что не существует ничего кроме геометрии все остальное это наши интерпретации
  • -0.09 / 4
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
 
  Balamut ( Слушатель )
20 июл 2023 05:36:57

во наткнулся на статью по теме https://habr.com/ru/articles/724768/
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  Егор А.Изотов ( Слушатель )
21 июл 2023 20:45:48

В давние времена, прочтя статью о фракталах в "Технике-молодежи" -написали с братом такую себе программку для исследования фракталов. С редактором функций, палитр и т.д... Мат часть была на 80387 оптимизирована (такие были времена)Улыбающийся
  • +0.00 / 0
  • АУ
 
 
 
 
 
  adolfus ( Слушатель )
29 июн 2023 17:28:33

Нейронка, как и любая другая программа, ничего не конструирует, а использует некоторый параметризованный, но тем не менее, детерминированный алгоритм, параметры которого подбираются в процессе так называемого "обучения". Это обучение в реальности является построением некоторой многомерной функции в пространстве предъявляемых образов.  Итак, простой детерминированный алгоритм с параметрами – вот и весь смысл нейронок. При этом из-за скрытого внутреннего состояния невозможно не только использовать явные схемы вычисления параметров, минимизирующих ошибку, но и провести анализ сходимости процесса в процессе "обучения" подбора этих параметров.
  • -0.03 / 3
  • АУ
 
 
 
 
 
 
  psv ( Слушатель )
29 июн 2023 20:16:11

Ну и что? Никаких доказательств "бесконечномерного квантового мышления" нет. Все "бла бла бла" вокруг "невозможности овладеть быстрорастущим пространством перебора" закончились с эффективной и эффектной игрой в Го. А там "внутри неонка" и никакой "квантовости" нет. Хоть седы выставляй для ГСЧ :) Никакой "протечки" нет даже теоретически. 
Никаких других новых "примеров непознаваемых детерминированным ИИ задач" никто из какого то "направления непознаваемости мышления" пока не породилУлыбающийся.


Нет безусловно – это не является одновременно и доказательством отсутствия этой "квантовой природы сознания".
  • +0.01 / 1
  • АУ
 
 
 
 
 
 
 
  GrinF ( Слушатель )
01 июл 2023 00:04:20

Какое нахер бесконечном претерпевает твое мышление - у вас каша в голове. Берете пространство L2. Оно возникает уже в вещественном случае в ппостранстве функций с интегрируемым кваддратом- откройте учебник Кудрявцева по метану и убедитесь сами емъли не верите. Более того есть реализации причем вполне физичные этого пространства - пространство функций медленного роста Шварца S пополненное по квадратичной (вещественной) норме - это же пространство реализуется в радиотехнике, и прочих разных полевых конфигурациях ЭМ полей. Какую чушь только не приходится выслушать . Математик мамкин- наборался умных слов и супер их в произвольном порядке
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
  psv ( Слушатель )
01 июл 2023 00:06:42

Я смотрю бисер пошел не в прок.
  • +0.00 / 0
  • АУ
 
 
 
 
 
 
 
 
 
  GrinF ( Слушатель )
01 июл 2023 10:17:28

Я жду пробивного шоу - перечисления множества натуральных чисел... Вами лично или дуэтом с чятгпт
  • +0.00 / 0
  • АУ
 
 
  adolfus ( Слушатель )
21 июн 2023 22:03:19

Это же самое справедливо и для ОО парадигмы, которая натурально применима менее, чем в четверти задач, где ее применяют.
  • +0.01 / 1
  • АУ
 
<< Концентрация артиллерии
Российские школьники завоевали 4 медали на Международной олимпиаде по химии имени аль-Бируни >>