Искусственный интеллект, нейросети
179,370
1,045
|
IlyaGeller ( Слушатель ) |
| 11 ноя 2019 00:04:44 |
Технология Искусственого Интеллекта
новая дискуссия Дискуссия 501
Искусственый Интеллект прежде всего это поисковая система, появившаяся как результат решения проблемы поставленой NIST TREC QA. А имено, как найти ответ в форме одной фразы на вопрос, в 6++ миллионах текстов, так чтобы этот ответ был осмысленным/ по смыслу. То есть, чтобы ответ был и в контексте, и подтекстах вопроса.
В ходе решения проблемы NIST TREC QA мною была выработана система и метод ИИ-разбора текста (запатентовано, см. USPTO на имя "Ilya Geller"), которые замещают единственый существовавший ранее n-gram разбор. К примеру есть предложение
-- Иван и Марфа весело смеются, она любит это.
n-gram разбор получает 2-3 фразы (паттерна, если не по Русски) из предложения. Например:
- Иван и Марфа весело смеются
- она любит это.
ИИ-разбор получает следующий набор (уже осмысленых фраз):
- и Иван весело смеётся
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любим Марфой. Этот разбор алгоритмизируется, почитайте учебник грамматики?
Итак, ИИ-разбор даёт намного больше (и осмысленых!) фраз при разборе предложения, нежели n-gram. Это и есть основа ИИ как поисковой системы.
Структуировав подобным образом тексты человека, есть возможность создать из них его индивидуальный профиль, и затем аннотировать поисковые уже его запросы используя фразы из профиля. Тогда 1-2 слово поискового запроса становится несколькимми сотнями и тысячами слов, и поиск информации становится исключительно точным.
O Искусственого Интеллекта индексации.
Вынужден ссылатся на Великого, а имено на Лейбница: "Идею, согласно которой в мире не существует абсолютно схожих монад или двух совершенно одинаковых вещей, Лейбниц сформулировал как принцип «всеобщего различия» и в то же время как тождество «неразличимых», выдвинув тем самым глубоко диалектическую идею."
Итак, проблема - которая стояла предо мной в NIST TREC QA - была в том как найти то что нужно, если оно описывается одинаково (например, одним и тем же словом или словами). Я решил эту проблему за счёт аннотирования слова или слов фразы, описывающих нечто, по его (или их) словарными определениями. В деталях технолгия описана в моём патенте (см. USPTO на имя "Ilya Geller").
То есть имея расширеный до многих сотен и тысяч фраз поисковый запрос, ИИ сравнивает его с полноцеными текстами, описывающими нечто как наборы словарных определений, каждое из которых есть параграфы (структуированые через ИИ-разбор).
Кроме того ИИ-разбор вычленяет из текстов фразы, как правило состоящиии из 2-5 слов. И тогда сочетания 2-5 наборов словарных определений делает эти фразы совершено уникальными. К примеру, ища информацию в миллиардах текстах вы получите как результат, рискну сказать, 10-20 ответов. (В то время как Гугл вываливает на вас десятки миллионов ответов которые вы сортирует вручную, перебирая сочетания слов (для запросов) и читая тексты.)
Это - ИИ-индексация. С ней вы можете сделать самый мощный в мире суперкомпьютер из Pentium I, что недавно продемонстрировал Гугл.
Синонимичные кластеры Искусственого Интеллекта.
Сынонимичные кластеры есть замена языкам программирования. Есть предложение:
-- Иван и Марфа весело смеются, она любит это.
ИИ-разбор получает следующий набор (уже осмысленых фраз):
- и Иван весело смеётся
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любимо Марфой.
Набор об Иване есть синонимичный кластер (одна фраза):
- и Иван весело смеётся
Набор об Марфе есть синонимичный кластер (много фраз):
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любимо Марфой.
Программирование есть перевод заданий (спецификаций) в код, когда происходит структуирование (программистом, человеком) текста в набор комманд. ИИ делает то же самое, извлекая синонимичные кластеры и назначая определёные действия каждой фразе (петтерну по заморски).
Например автомобили Гугля руководствуются извлечёными из текстов инструкций коммандами.
В ходе решения проблемы NIST TREC QA мною была выработана система и метод ИИ-разбора текста (запатентовано, см. USPTO на имя "Ilya Geller"), которые замещают единственый существовавший ранее n-gram разбор. К примеру есть предложение
-- Иван и Марфа весело смеются, она любит это.
n-gram разбор получает 2-3 фразы (паттерна, если не по Русски) из предложения. Например:
- Иван и Марфа весело смеются
- она любит это.
ИИ-разбор получает следующий набор (уже осмысленых фраз):
- и Иван весело смеётся
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любим Марфой. Этот разбор алгоритмизируется, почитайте учебник грамматики?
Итак, ИИ-разбор даёт намного больше (и осмысленых!) фраз при разборе предложения, нежели n-gram. Это и есть основа ИИ как поисковой системы.
Структуировав подобным образом тексты человека, есть возможность создать из них его индивидуальный профиль, и затем аннотировать поисковые уже его запросы используя фразы из профиля. Тогда 1-2 слово поискового запроса становится несколькимми сотнями и тысячами слов, и поиск информации становится исключительно точным.
O Искусственого Интеллекта индексации.
Вынужден ссылатся на Великого, а имено на Лейбница: "Идею, согласно которой в мире не существует абсолютно схожих монад или двух совершенно одинаковых вещей, Лейбниц сформулировал как принцип «всеобщего различия» и в то же время как тождество «неразличимых», выдвинув тем самым глубоко диалектическую идею."
Итак, проблема - которая стояла предо мной в NIST TREC QA - была в том как найти то что нужно, если оно описывается одинаково (например, одним и тем же словом или словами). Я решил эту проблему за счёт аннотирования слова или слов фразы, описывающих нечто, по его (или их) словарными определениями. В деталях технолгия описана в моём патенте (см. USPTO на имя "Ilya Geller").
То есть имея расширеный до многих сотен и тысяч фраз поисковый запрос, ИИ сравнивает его с полноцеными текстами, описывающими нечто как наборы словарных определений, каждое из которых есть параграфы (структуированые через ИИ-разбор).
Кроме того ИИ-разбор вычленяет из текстов фразы, как правило состоящиии из 2-5 слов. И тогда сочетания 2-5 наборов словарных определений делает эти фразы совершено уникальными. К примеру, ища информацию в миллиардах текстах вы получите как результат, рискну сказать, 10-20 ответов. (В то время как Гугл вываливает на вас десятки миллионов ответов которые вы сортирует вручную, перебирая сочетания слов (для запросов) и читая тексты.)
Это - ИИ-индексация. С ней вы можете сделать самый мощный в мире суперкомпьютер из Pentium I, что недавно продемонстрировал Гугл.
Синонимичные кластеры Искусственого Интеллекта.
Сынонимичные кластеры есть замена языкам программирования. Есть предложение:
-- Иван и Марфа весело смеются, она любит это.
ИИ-разбор получает следующий набор (уже осмысленых фраз):
- и Иван весело смеётся
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любимо Марфой.
Набор об Иване есть синонимичный кластер (одна фраза):
- и Иван весело смеётся
Набор об Марфе есть синонимичный кластер (много фраз):
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любимо Марфой.
Программирование есть перевод заданий (спецификаций) в код, когда происходит структуирование (программистом, человеком) текста в набор комманд. ИИ делает то же самое, извлекая синонимичные кластеры и назначая определёные действия каждой фразе (петтерну по заморски).
Например автомобили Гугля руководствуются извлечёными из текстов инструкций коммандами.
ОТВЕТЫ (8)
|
mark.76 ( Слушатель ) |
| 12 ноя 2019 08:08:37 |
Смех без причины - признак дурачины (с).
Ищут не слова, а смысл. Любое количество слов , при этом, будет вырвано из контекста, а значит поиск не удовлетворительным.
ПС То, что нравится Ивану да Марье никакого отношения к смеху не имеет, так как смех это следствие, а не причина.
Так , "ЭТО" , вы не найдёте никогда.
|
Поверонов ( Слушатель ) |
| 12 ноя 2019 08:44:04 |
Цитата: mark.76 от 12.11.2019 08:08:37
Добавлю что поиск по словоформам, а не по смыслу оставляет за бортом кучу текстов выражающих тот же смысл синонимами, а также отрицанием антонимов.
PS. Боюсь что с подобным подходом к искусственному интеллекту человечество получит кучу чего-то вякающих черных ящиков, которые невозможно как-то верифицировать и соответственно им доверять, как это уже имеет место с современными поисковыми системами типа full-text-search
|
|
TAU ( Слушатель ) |
| 12 ноя 2019 22:47:15 |
Цитата: Поверонов от 12.11.2019 08:44:04
Вообще, смысловой поиск даже наш Яндекс уже достаточно давно (2016) анонсировал: алгоритм «Палех»: как нейронные сети помогают поиску Яндекса. Используются семантические (смысловые) векторы.
Затем уже, по мнению авторов пошел в ход "космический" уровень: поисковая технология «Королёв».
Вот еще более свежая статья. Исследование Яндекса и краткая история поиска по смыслу
|
|
Поверонов ( Слушатель ) |
| 12 ноя 2019 23:41:05 |
Цитата: TAU от 12.11.2019 22:47:15
Они тоже говорят об АИ.
ЦитатаТехнология семантических векторов обладает огромным потенциалом. Например, переводить в такие векторы можно не только заголовки, но и полные тексты документов — это позволит ещё точнее сопоставлять запросы и веб-страницы.
Пока что весь АИ ограничен заголовками. Но всё равно "черный ящик" - как и кто в процессе обучения устанавливал релевантность остается за кулисами. И даже если 99% релевантной информации будет опущено вы об этом никогда не узнаете.
|
|
TAU ( Слушатель ) |
| 13 ноя 2019 01:51:56 |
Цитата: Поверонов от 12.11.2019 23:41:05
По первому пункту - "это несерьезно". ИИ (слабый, естественно!) давно и успешно применяется на практике в целом ряде областей. Включая очень даже серьезные - военную сферу и системы безопасности, да и финансовые оценки весьма дорого стоят.
По второму пункту - пытаются бороться, например, путем "вербализации".
|
|
Поверонов ( Слушатель ) |
| 01 мар 2020 22:05:29 |
На днях приболел - похоже воспалилось ухо, где расположен вестибулярный аппарат ( сейчас всё уже прошло ).
При этом испытал небывалые ощущения - "падение в пропасть" и "верчение комнатной обстановки перед глазами".
Никогда не подозревал что восприятие окружающей обстановки глазами так явно корректируется вестибуляторным аппаратом.
Действительно мы видим относительно неподвижную картинку при движении, а на самом деле наши глаза постоянно меняют положение в пространстве с каждым шагом ( на высоту подъема ступни + наклон корпуса для удержания равновесия при переступании с ного на ногу ). При беге колебания корпуса еще размашистее. Но мозг путем "вестибулярной" корректировки так декодирует оптические сигналы с глаз что все эти колебания компенсируются, и мы видим относительно неподвижную вертикальную картинку даже когда падаем.
С вычислительной точки зрения алгоритм "вестибулярной" корректировки представляется необыкновенно сложным тем более что никакой гиростабилизированной платформы в организме не имеется.
При этом испытал небывалые ощущения - "падение в пропасть" и "верчение комнатной обстановки перед глазами".
Никогда не подозревал что восприятие окружающей обстановки глазами так явно корректируется вестибуляторным аппаратом.
Действительно мы видим относительно неподвижную картинку при движении, а на самом деле наши глаза постоянно меняют положение в пространстве с каждым шагом ( на высоту подъема ступни + наклон корпуса для удержания равновесия при переступании с ного на ногу ). При беге колебания корпуса еще размашистее. Но мозг путем "вестибулярной" корректировки так декодирует оптические сигналы с глаз что все эти колебания компенсируются, и мы видим относительно неподвижную вертикальную картинку даже когда падаем.
С вычислительной точки зрения алгоритм "вестибулярной" корректировки представляется необыкновенно сложным тем более что никакой гиростабилизированной платформы в организме не имеется.
|
slavae ( Слушатель ) |
| 01 мар 2020 22:12:49 |
Цитата: Поверонов от 01.03.2020 22:05:29
Это мог быть микроинсульт. Когда я лежал в инсультном отделении, насмотрелся. Были люди, которых мотало в стороны, когда они садились на кровати. Небольшой сосуд рвётся в голове - и получите эффекты. Потом всё заживает и рассасывается.
|
|
IlyaGeller ( Слушатель ) |
| 13 ноя 2019 10:54:07 |
Цитата: mark.76 от 12.11.2019 08:08:37
Это - новый стандарт замещающий n-gram, бывший стандартом предыдущие 75 лет. Это - основа ИИ.