Автоматическая категоризация документов

Цитата: Азъ от 05.11.2023 12:52:53У нас вышла новая версия KnoDL Document Manager (KDM).
Это система автоматической категоризации документов по содержимому. Без использования нейросетей и машинки.
Переобучение системы происходит просто сменой категории.

Цитата: Азъ от 05.11.2023 12:52:53

 

как потом определить в какой папке искать если положил не сам ?
смотреть все подряд ? зачем тогда папки ?

• +0.04 / 2

Цитата: Поверонов от 05.11.2023 14:51:02

Цитатакак потом определить в какой папке искать если положил не сам ?
смотреть все подряд ? зачем тогда папки ?

Цитата: Поверонов от 05.11.2023 14:51:02

 

Только не папки, а категории. Папок там нет.
Если будет интересно, просто попробуйте.

Вот старое видео, закинул на тытрубу. Автоматическая категоризация ОСТ РК, небольшой набор, что лежит в открытом доступе
Просто показывает какой документ похож на другой, присваивая общую категорию.

Оценивает именно содержимое, а не ключевые слова или название.

• +0.00 / 0

Цитата: Азъ от 05.11.2023 16:06:12Только не папки, а категории. Папок там нет.
Если будет интересно, просто попробуйте.

Вот старое видео, закинул на тытрубу. Автоматическая категоризация ОСТ РК, небольшой набор, что лежит в открытом доступе
Просто показывает какой документ похож на другой, присваивая общую категорию.

Оценивает именно содержимое, а не ключевые слова или название.

Цитата: Азъ от 05.11.2023 16:06:12

 

Какой смысл в автоматической категоризации документов? Человек или команда, которые изготавливают документ, лучше всех знают, к какой категории этот документ относится и не нуждаются ни в каких категоризаторах. Мало того, они сами могут создать для группы своих документов нужную им категорию, и это при том, что семантически документы никак не будут связаны – несколько файлов про применение "изделия А",  несколько про внутренне устройство, несколько про эксплуатацию и все в одной категории "изделие А".

• +0.05 / 3

Цитата: adolfus от 06.11.2023 01:11:00Какой смысл в автоматической категоризации документов? Человек или команда, которые изготавливают документ, лучше всех знают, к какой категории этот документ относится и не нуждаются ни в каких категоризаторах.

Цитата: adolfus от 06.11.2023 01:11:00

 

Пока у Вас этих документов 10-20-30 - все, в основном, так. Как только их становится несколько сотен, несколько тысяч, несколько десятков тысяч,.. и все они относятся к различным типам, к различным категориям конфиденциальности,.. - все становится, мягко говоря, совсем непросто, как с точки зрения банального документооборота, делопроизводства, так и с точки зрения информационной безопасности - прежде всего. В какой-то степени эти проблемы решает DLP система, но поручать ей, кроме прочего, и категоризацию, и упорядочение, и.. - это слишком.
Для решения такого типа задач - и применяются системы, подобные вышеописанной.
Разумеется, к ним предъявляются и повышенные требования ИБ, ибо, с точки зрения злоумышленника, это чудесная точка приложения усилий, позволяющая добраться до "всего".

• +0.03 / 3

Цитата: Егор А.Изотов от 06.11.2023 10:03:08Пока у Вас этих документов 10-20-30 - все, в основном, так. Как только их становится несколько сотен, несколько тысяч, несколько десятков тысяч,.. и все они относятся к различным типам, к различным категориям конфиденциальности,.. - все становится, мягко говоря, совсем непросто, как с точки зрения банального документооборота, делопроизводства, так и с точки зрения информационной безопасности - прежде всего. В какой-то степени эти проблемы решает DLP система, но поручать ей, кроме прочего, и категоризацию, и упорядочение, и.. - это слишком.
Для решения такого типа задач - и применяются системы, подобные вышеописанной.
Разумеется, к ним предъявляются и повышенные требования ИБ, ибо, с точки зрения злоумышленника, это чудесная точка приложения усилий, позволяющая добраться до "всего".

Цитата: Егор А.Изотов от 06.11.2023 10:03:08

 

Ога, ога.
Как там: "Автоматизация бардака на выходе дает автоматический бардак"© Не мое.

• +0.08 / 5

Цитата: qurvax от 06.11.2023 10:20:22Ога, ога.
Как там: "Автоматизация бардака на выходе дает автоматический бардак"© Не мое.

Цитата: qurvax от 06.11.2023 10:20:22

 

Да, безусловно. Поэтому, прежде всего, "бардак" должен быть ликвидирован на уровне "бизнес-процессов".
"На том и стоим".

• +0.00 / 0

Цитата: Егор А.Изотов от 06.11.2023 11:02:23Да, безусловно. Поэтому, прежде всего, "бардак" должен быть ликвидирован на уровне "бизнес-процессов".
"На том и стоим".

Цитата: Егор А.Изотов от 06.11.2023 11:02:23

 

Я хочу это хоть раз в жисти увидеть. Зияющий сияющий град на холме... И накуя тогда эта вся приблудень, есси и так порядок? Так слона ведь не продать.

• +0.02 / 2

Цитата: Егор А.Изотов от 06.11.2023 10:03:08Пока у Вас этих документов 10-20-30 - все, в основном, так. Как только их становится несколько сотен, несколько тысяч, несколько десятков тысяч,.. и все они относятся к различным типам, к различным категориям конфиденциальности,.. - все становится, мягко говоря, совсем непросто, как с точки зрения банального документооборота, делопроизводства, так и с точки зрения информационной безопасности - прежде всего.

Цитата: Егор А.Изотов от 06.11.2023 10:03:08

 

Не вижу никакой связи категоризации и классификации с информационной безроопасностью (ИБ). ИБ – это отношение между перечнем ролей и  перечнем действий.  Это отношение безопасности устанавливается и поддерживается далее для каждого документа изначально владельцем документа с помощью встроенных средств платформы хранения (ОС+Спец ПС). Категории же -- это семантика, никакого отношения к ИБ не имеющая. Категории – это часть метаданных. 
И самое главное – любой документ, подлежащий учету и хранению изначально имеет набор категорий, которые присваиваются документу в процессе его изготовления и сертификации теми, кто над ним работал. Ну и вопрос – а кто создает перечень категорий и на каком основании?

• +0.00 / 0

Цитата: adolfus от 08.11.2023 12:09:19Не вижу никакой связи категоризации и классификации с информационной безроопасностью (ИБ). ИБ – это отношение между перечнем ролей и  перечнем действий.  Это отношение безопасности устанавливается и поддерживается далее для каждого документа изначально владельцем документа с помощью встроенных средств платформы хранения (ОС+Спец ПС). Категории же -- это семантика, никакого отношения к ИБ не имеющая. Категории – это часть метаданных. 
И самое главное – любой документ, подлежащий учету и хранению изначально имеет набор категорий, которые присваиваются документу в процессе его изготовления и сертификации теми, кто над ним работал. Ну и вопрос – а кто создает перечень категорий и на каком основании?

Цитата: adolfus от 08.11.2023 12:09:19

 

ИБ ширшее, чем только лишь RBAC, бывает всякое и разное. См. например поделие NSA известное нороту под кличкой SELinux. В терминальных стадиях как раз таки на классификации все и держиться. Ну и да, ваши понятия об ИБ очень хорошо иллюстрирует вот это вот "Это отношение безопасности устанавливается и поддерживается далее для каждого документа изначально владельцем документа", что есть ересь. В кговавых это определяется нормативкой,  а поддерживается и проверяется на соответствие специально опучеными человеками. С использованием струментов (например openscap) или врукопашку - как Аллах пошлет.

• +0.00 / 0

Цитата: Luddit от 12.11.2023 19:13:27Набор байт, по которому система отличает одну флешку от другой.

Цитата: Luddit от 12.11.2023 19:13:27

 

Конкретно укажите
$ lsusb -s 2:16 -v

Bus 002 Device 016: ID 8564:1000 Transcend Information, Inc. JetFlash
Couldn't open device, some information will be missing
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               3.00
  bDeviceClass            0
  bDeviceSubClass         0
  bDeviceProtocol         0
  bMaxPacketSize0         9
  idVendor           0x8564 Transcend Information, Inc.
  idProduct          0x1000 JetFlash
  bcdDevice           10.75
  iManufacturer           1 JetFlash
  iProduct                2 Mass Storage Device
  iSerial                 3 183811443
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength       0x002c
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          0
    bmAttributes         0x80
      (Bus Powered)
    MaxPower              304mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15

• +0.00 / 0

Цитата: adolfus от 06.11.2023 01:11:00Какой смысл в автоматической категоризации документов? Человек или команда, которые изготавливают документ, лучше всех знают, к какой категории этот документ относится и не нуждаются ни в каких категоризаторах. Мало того, они сами могут создать для группы своих документов нужную им категорию, и это при том, что семантически документы никак не будут связаны – несколько файлов про применение "изделия А",  несколько про внутренне устройство, несколько про эксплуатацию и все в одной категории "изделие А".

Цитата: adolfus от 06.11.2023 01:11:00

 

Если знают, то нет смысла, могут руками делать.
Если всё же есть ошибки человеческого фактора, когда в команде есть секретари/джуны, которые имеют отношение к движению документов, то очень даже полезно, также полезно, когда часть документов грифована, и есть процедуры грифовки/разгрифовки

• +0.00 / 0

Цитата: Азъ от 06.11.2023 10:58:54Если знают, то нет смысла, могут руками делать.
Если всё же есть ошибки человеческого фактора, когда в команде есть секретари/джуны, которые имеют отношение к движению документов, то очень даже полезно, также полезно, когда часть документов грифована, и есть процедуры грифовки/разгрифовки

Цитата: Азъ от 06.11.2023 10:58:54

 

На самом деле проблема не в том как категоризовать документы а в том как затем их искать иначе категоризация бессмысленна. А чтобы категоризация имела смысл она должна быть семантически описана так чтобы было понятно где искать. Иначе достаточно иметь ag ( advanced grep ) и искать по ключевым словам.

• +0.06 / 4

Цитата: Поверонов от 06.11.2023 12:49:29На самом деле проблема не в том как категоризовать документы а в том как затем их искать иначе категоризация бессмысленна. А чтобы категоризация имела смысл она должна быть семантически описана так чтобы было понятно где искать. Иначе достаточно иметь ag ( advanced grep ) и искать по ключевым словам.

Цитата: Поверонов от 06.11.2023 12:49:29

 

Прошу прощения, но осмелюсь предположить, что вы не теряли документы, и не представляете, как другие их теряют.
И сейчас придумываете ситуации, которых в реале не встречаются.

Поправьте меня, если не прав.

• +0.00 / 0

Цитата: Азъ от 06.11.2023 14:42:20Прошу прощения, но осмелюсь предположить, что вы не теряли документы, и не представляете, как другие их теряют.
И сейчас придумываете ситуации, которых в реале не встречаются.

Поправьте меня, если не прав.

Цитата: Азъ от 06.11.2023 14:42:20

 

45 лет работаю с базами данных в том числе как их разработчик и администратор. И прекрасно знаю что такое релевантная и не релевантная выдача при поиске по тексту. Да поиск по ключевым словам не решает проблемы так как существует полисемия - один смысл может быть представлен разными словами и наоборот  одно то же слово может иметь разный смысл в разных контекстах ( например зам`ок и з`амок или мир ) Поэтому для повышения релевантности поиска по ключевым словам строят списки синонимов а также иерархию понятий ( категории ) над ключевыми словами (  синонимы и категории нужно автоматически добавлять к тексту документов в формате тегов ) Если документы индексируются , то все множество документов нужно переиндексировать при изменении списков синонимов или новых категорий, а также распихивать новые ключевые слова из документов по спискам синонимов и категорий.
До сих пор это был ручной труд по ведению словарей поисковой системы ( пополнение списков синонимов и категорий ) Возможно его удастся как-то автоматизировать на базе ИИ типа LLM хотя сомневаюсь так как LLM не понимают семантики

• +0.01 / 1

Цитата: Поверонов от 06.11.2023 17:40:00... И прекрасно знаю что такое релевантная и не релевантная выдача при поиске по тексту. Да поиск по ключевым словам не решает проблемы так как существует полисемия - один смысл может быть представлен разными словами и наоборот  одно то же слово может иметь разный смысл в разных контекстах ( например зам`ок и з`амок или мир ) Поэтому для повышения релевантности поиска по ключевым словам строят списки синонимов а также иерархию понятий ( категории ) над ключевыми словами (  синонимы и категории нужно автоматически добавлять к тексту документов в формате тегов )

Цитата: Поверонов от 06.11.2023 17:40:00

 

Цитата: Поверонов от 06.11.2023 17:40:00Если документы индексируются , то все множество документов нужно переиндексировать при изменении списков синонимов или новых категорий, а также распихивать новые ключевые слова из документов по спискам синонимов и категорий.
До сих пор это был ручной труд по ведению словарей поисковой системы ( пополнение списков синонимов и категорий ) Возможно его удастся как-то автоматизировать на базе ИИ типа LLM хотя сомневаюсь так как LLM не понимают семантики

Цитата: Поверонов от 06.11.2023 17:40:00

 

Всё почти правильно и тут не поспоришь.
Однако, есть один момент, когда Вы говорите про релевантность, Вы имеете ввиду своё собственное о ней понятие,
возможно, оно адекватное, но я подозреваю, что датасета у Вас с метрикой нет тоже, ну и если посмотреть на то, что творится сейчас в текстовых поисках, то можно увидеть, как большинство производителей вообще положили болт на релевантность, именно из-за тех причин, которые Вы указываете.
Ну и к работам со смыслами мы идём, и именно наш путь позволяет туда дойти (или это вообще не возможно).)))
Как-то так.

• +0.00 / 0

Цитата: gbooth от 06.11.2023 16:28:22У меня есть личный корпус в 5000 заметок и мне интересно найти все заметки об одном и том же.  Семантическое описание категорий возможно только после создания корпуса и осмысления всех категорий в корпусе.  А список категорий - открыт принципиально. Корпус постоянно пополняется. Разумеется мне было бы интересно иметь движок, который бы по краткому описанию идеи находил все релевантные заметки в этом корпусе.

Цитата: gbooth от 06.11.2023 16:28:22

 

Если захотите, попробуйте KDM.

Только категории изначально завести.
И подгрузить по небольшому 1-3 документа. в каждую а потом начать пакетом добавлять остальные.
Категории будут автоматически присваиваться загружаемым документам.
Переобучение, если система ошиблась, простое - просто сменить категорию файлу.

• +0.01 / 1

Цитата: gbooth от 07.11.2023 14:41:00Я почему ее не пробую (давно не пробую).  Мне не интересно определять систему категорий и обучать алгоритм моему пониманию категорий.  Мне интересно чтобы алгоритм сам сообщил что у меня Х категорий в корпусе. 
А в моем случае задачу поиска это тоже не решает, так как могут быть пограничные случаи и вопрос относится к категории на стадии ростка, низкой кардинальной мощности (пока). 
Но это не критика, ни в коем случае.

Цитата: gbooth от 07.11.2023 14:41:00

 

Это когда системы научаться понимать смысл.
С нашей помощью или без.
Тогда я к вам еще раз постучусь.

• +0.00 / 0

Цитата: gbooth от 07.11.2023 15:15:29Там не надо понимать смысл.  Достаточно измерять смысл, придумать сетку координат и механизмы расчета смысла для его картирования.

Цитата: gbooth от 07.11.2023 15:15:29

 

Измеряйте:

ЦитатаГлокая куздра штеко булданула бокра и кудрячит бокрёнка

а еще есть Lorem ipsum правда в латинице

• +0.00 / 0

Цитата: gbooth от 07.11.2023 16:07:43Капитан, у вас информационная содержательность сообщений стремится к нулю. ))

Цитата: gbooth от 07.11.2023 16:07:43

 

так вам же не важен смысл

ЦитатаЦитата: gbooth от 07.11.2023 15:15:29
Там не надо понимать смысл.  Достаточно измерять смысл, придумать сетку координат и механизмы расчета смысла для его картирования.

• +0.00 / 0

Цитата: gbooth от 07.11.2023 18:11:06Мне как раз смысл важен.  Но для формирования содержательной карты корпуса текстов понимать смысл не надо.  Либо современные алгоритмы NLP уже понимают смысл.  Выбор из двух альтернатив определяется тем, что значит понимать смысл. 
У меня пока нет собственной точки зрения относительно того, что значит «понимать смысл».  Поделитесь вашей точкой зрения на значение этого словосочетания.

Цитата: gbooth от 07.11.2023 18:11:06

 

Вообще говоря смысл понятия ( токена ) это совокупность его отношений с другими понятиями.
Спектр таких отношений открыт, но базисные известны ( родо-видовые, координатные и т.д )
Смыслы постигаются образованием и дополняются личным опытом. LL-модели потенциально приближаются к пониманию смыслов так как  вычисляют в процессе обучения отношения между токенами. Но поскольку обучение LL-моделей производится на ограниченном и случайном материале, их смысловая модель формируется непредсказуемо урезанной ( отсюда - глюки )

• +0.00 / 0

Цитата: gbooth от 09.11.2023 13:59:53Вообще говоря написание кода для вычисления смысла понятия как совокупности его отношений с другими понятиями является "экзаменационным" вопросом. Студент, если он хочет сдать предмет, должен написать такой алгоритм. Это не сложно. LLM-ка здесь не нужна. 
. 
Обучение неокортекса производится на еще более ограниченном и еще более случайном материале, так что смысловая модель хумана еще более урезана. )) 
.
Главное другое - если алгоритм может сопоставить слову вектор из 300 чисел - значит он понимает смысл этого слова. Так?

Цитата: gbooth от 09.11.2023 13:59:53

 

полагаю что смысл гораздо более многомерен -
в словарях даже базисных более тысячи слов ( понятий ) и отношения между ними не одномерны ( вектор отражает лишь одно отношение = "следует за" ,что позволяет строить наиболее вероятностные последовательности токенов, то есть понимание на уровне попугая

• +0.00 / 0

Цитата: gbooth от 09.11.2023 14:46:15Обычный словарь текста включает порядка 10-100 тыс слов. Каждому слову сопоставляется вектор из 40-400 измерений. Понимание слова таким образом наложено на сетку из 40-400 координат.

Цитата: gbooth от 09.11.2023 14:46:15

 

для отражения отношений между понятиями должен быть набор матриц размерностью числа слов ( 10-100 тыс ) причем одна матрица на каждый вид отношений - таких отношений вероятно должно быть более сотни

• +0.00 / 0

Цитата: Поверонов от 09.11.2023 14:30:23полагаю что смысл гораздо более многомерен -
в словарях даже базисных более тысячи слов ( понятий ) и отношения между ними не одномерны ( вектор отражает лишь одно отношение = "следует за" ,что позволяет строить наиболее вероятностные последовательности токенов, то есть понимание на уровне попугая

Цитата: Поверонов от 09.11.2023 14:30:23

 

ну если конечно цель этого движнчка с llm - заменить торговок на базаре , и операторов служб безопасности всех банков ... то тогда да

• +0.00 / 0

Цитата: gbooth от 09.11.2023 13:59:53Вообще говоря написание кода для вычисления смысла понятия как совокупности его отношений с другими понятиями является "экзаменационным" вопросом. Студент, если он хочет сдать предмет, должен написать такой алгоритм. Это не сложно. LLM-ка здесь не нужна. 

. 
Обучение неокортекса производится на еще более ограниченном и еще более случайном материале, так что смысловая модель хумана еще более урезана. )) 
.
Главное другое - если алгоритм может сопоставить слову вектор из 300 чисел - значит он понимает смысл этого слова. Так?

Цитата: gbooth от 09.11.2023 13:59:53

 

феерично... епта...

• +0.00 / 0

Цитата: Азъ от 07.11.2023 13:40:24Если захотите, попробуйте KDM.

Цитата: Азъ от 07.11.2023 13:40:24

 

kdm – KDE Display Manager?

• +0.00 / 0

Цитата: adolfus от 09.11.2023 10:32:25kdm – KDE Display Manager?

Цитата: adolfus от 09.11.2023 10:32:25

 

KnoDL Document Manager
Мы разрабатываем собственное тех ядро (KnoDL - Knowledge Definition Language), которое умеет работать с данными без знания структуры, без предварительной разметки и без нормализации. Не ломается при смене структуры у подаваемых данных.
Плюс эта технология не нейросетевая и не требует машинного обучения. 
Умеем сопоставлять различные справочники между собой искать в справочниках дубли.
С этим тоже могу дать поиграться, висит сервис для друзей и демонстрации в облаке.
Вот демо ролик. 

Как-то так...

• +0.00 / 0

Цитата: Азъ от 09.11.2023 17:41:47Мы разрабатываем

Цитата: Азъ от 09.11.2023 17:41:47

 

Это стартап или есть вполне конкретный заказчик?

• +0.00 / 0

Цитата: gvf от 09.11.2023 18:43:52Это стартап или есть вполне конкретный заказчик?

Цитата: gvf от 09.11.2023 18:43:52

 

Технология - стартап.
Идеи продуктов появляются по итогам различных общений,
Создаем "личинку" демонстратор. Показываем тем до кого можем дотянуться.
Если они говорят хотим, делаем.
KDM будем передаваться на следующей неделе заказчику.
Спектр применения технологии широкий, скоро будем делать "личинку" СППР с прямым обучением.
Кому-то будет интересно?)))

PS Идея KDM вообще возникла, из спора с сотрудниками одной госкорпорации, которые пытались меня убедить, что надо делать как на западе собирать большие онтологии для поиска связанной информации. Мы просто хотели показать, что связанность данных можно увидеть в моменте, не собирая громоздкие ресурсоемкие конструкции.

• +0.00 / 0

Цитата: Азъ от 09.11.2023 19:13:30Технология - стартап.
Идеи продуктов появляются по итогам различных общений,
Создаем "личинку" демонстратор. Показываем тем до кого можем дотянуться.
Если они говорят хотим, делаем.
KDM будем передаваться на следующей неделе заказчику.
Спектр применения технологии широкий, скоро будем делать "личинку" СППР с прямым обучением.
Кому-то будет интересно?)))

PS Идея KDM вообще возникла, из спора с сотрудниками одной госкорпорации, которые пытались меня убедить, что надо делать как на западе собирать большие онтологии для поиска связанной информации. Мы просто хотели показать, что связанность данных можно увидеть в моменте, не собирая громоздкие ресурсоемкие конструкции.

Цитата: Азъ от 09.11.2023 19:13:30

 

Мне, например. Научить это с лету жрать разнокалиберные логи и выплевывать упорядоченное - голубая (в хорошем смысле) мечта. Пока обещали многие, но не справился никто.

• +0.00 / 0

Цитата: qurvax от 10.11.2023 11:05:18Мне, например. Научить это с лету жрать разнокалиберные логи и выплевывать упорядоченное - голубая (в хорошем смысле) мечта. Пока обещали многие, но не справился никто.

Цитата: qurvax от 10.11.2023 11:05:18

 

Я даже обещать не буду) 
Но как образец вот сверка двух номенклатурных справочников)))
{
        "el": 111978,
        "fr": {
            "Name1": "Нож для снятия изоляции 8-28мм2 (крюк) HAUPA 200031"
        },
        "to": [            {                "el": 957887,                "to": {                    "Name2": "Инструмент для снятия изоляции HAUPA 200031 8...28мм"                }            }        ],
        "w": 0.199957778
    },
{
        "el": 145678,
        "fr": {
            "Name1": "3HE15508AA ПО - OS - 7210 SAS-Dxp 2SFP+ 4F6T Rel 11.0"
        },
        "to": [            {                "el": 859663,                "to": {                    "Name2": "Программное обеспечение Nokia OS-7210 SAS-Dxp 2SFP+ 4F6T Rel 11.0 3HE15508AA"                }            }        ],
        "w": 0.199723331
    },
[
('Лента клейкая упаковочная B50мм x L50м PP s40мкм прозрачная', 'Скотч широкий Арт. 143757\nПодробные характеристики\nШирина, мм: 50\nДлина, м: 50\nЦвет: прозрачный\nНазначение: для упаковки\nМатериал основы: двуосноориентированный полипропилен\nКлеевая основа: акриловая эмульсия\nВес упаковываемого груза (кг): до 5\nДополнительные свойства: универсальная\nМорозостойкость: Нет\nРекомендация по использованию: для легких коробок с гофрокартоном хорошего качества\nЕдиница продажи: штука\nСтрана происхождения: Россия\nТолщина, мкм: 40', 1.7854274), 
('Черенок 1200мм 40мм древесина', 'Черенок берёзовый, d = 40 мм, длина 120 см, 1 сорт', 6.8458678),

{
        "Name2": "Коробка раздаточная электромеханическая 316380180002100 автомобиль УАЗ",
        "9:053508067__34547_34946": {
            "Name1": "31638-1800021 Коробка раздаточная УАЗ~3163 Патриот дв.ЗМЗ~409 (I=4111) DYMOS (ОАО УАЗ) №\n31638-1800021\n"
        }

{
        "el": 133962,
        "fr": {
            "Name1": "3AV500780024 SAFETY PLATEF FOR FAN V2 TOP MOUNTING  /  ПАНЕЛЬ БЕЗОПАСНОСТИ ДЛЯ FAN V2 ВЕРХНИЙ МОНТАЖ"
        },
        "to": [            {                "el": 1191731,                "to": {                    "Name2": "Панель безопасности 3AV500780024 FAN V2"                }            }        ],
        "w": 0.299986082
    },

{
        "el": 113874,
        "fr": {
            "Name1": "53А-2201025-13 Крестовина ГАЗ~53 вала карданного (под стопорные кольца) в сборе (ОАО ГАЗ)"
        },
        "to": [            {                "el": 680291,                "to": {                    "Name2": "Крестовина 53А-2201025-13 вал карданный автомобиля ГА3"                }            }        ],

{
        "el": 166390,
        "fr": {
            "Name1": "120808-00041 Комплект маркировочный пластмассовый КМП (в упаковке 50 комплектов и 1 маркер) "
        },
        "to": [            {                "el": 414603,                "to": {                    "Name2": "Комплект маркировочный Связьстройдеталь КМП 120808-00041 для маркировки кабелей без надписей черный бирка пластмассовая 50шт, маркер-ручка, маркер самоламинирующийся 50шт, стяжка пластмассовая черная 100шт"                }            }        ],

Ну и вот красиво
{
        "Name2": "Коробка раздаточная электромеханическая 316380180002100 автомобиль УАЗ",
        "9:053508067__34547_34946": {
            "Name1": "31638-1800021 Коробка раздаточная УАЗ~3163 Патриот дв.ЗМЗ~409 (I=4111) DYMOS (ОАО УАЗ) №\n31638-1800021\n"
        }

Если у вас образцы.
Я бы с ребятами просто поигрался.
Вдруг что-то интересно выйдет.

• +0.00 / 0

Цитата: Азъ от 10.11.2023 11:45:47Если у вас образцы.
Я бы с ребятами просто поигрался.
Вдруг что-то интересно выйдет.

Цитата: Азъ от 10.11.2023 11:45:47

 

Образцы надо надергать и наваять, заменив реальные данные на белиберду ("санитизировав"). Это ручная, не то чтоб сложная, но сильно нудная, работа. Если не забуду, займусь на следующей неделе.

• +0.02 / 2

Цитата: Азъ от 09.11.2023 17:41:47KnoDL Document Manager
Мы разрабатываем собственное тех ядро (KnoDL - Knowledge Definition Language), которое умеет работать с данными без знания структуры, без предварительной разметки и без нормализации. Не ломается при смене структуры у подаваемых данных.
Плюс эта технология не нейросетевая и не требует машинного обучения. 
Умеем сопоставлять различные справочники между собой искать в справочниках дубли.
С этим тоже могу дать поиграться, висит сервис для друзей и демонстрации в облаке.
Вот демо ролик. 

Как-то так...

Цитата: Азъ от 09.11.2023 17:41:47

 

Некрасиво красть аббревиатуры один-в-один – нужно немножко, хоть одну букву, но менять. Учитесь у Микрософт.
Думаю, в kde.org могут заинтересоваться вашим проектом.

• +0.00 / 0

Цитата: adolfus от 10.11.2023 01:48:31Некрасиво красть аббревиатуры один-в-один – нужно немножко, хоть одну букву, но менять. Учитесь у Микрософт.
Думаю, в kde.org могут заинтересоваться вашим проектом.

Цитата: adolfus от 10.11.2023 01:48:31

 

У кого украли?
вы KDM (KDE display manager) в кедах?

А этим аббревиатурам как быть?
Knowledge Discovery Metamodel (KDM) 
Key Delivery Message (KDM) 
KDM POP Solutions Group
список можно продолжать до бесконечности

Ими всеми интересуется KDE?

• +0.03 / 2

Цитата: Азъ от 09.11.2023 17:41:47KnoDL Document Manager
Мы разрабатываем собственное тех ядро (KnoDL - Knowledge Definition Language), которое умеет работать с данными без знания структуры, без предварительной разметки и без нормализации. Не ломается при смене структуры у подаваемых данных.
Плюс эта технология не нейросетевая и не требует машинного обучения. 
Умеем сопоставлять различные справочники между собой искать в справочниках дубли.
С этим тоже могу дать поиграться, висит сервис для друзей и демонстрации в облаке.
Вот демо ролик.

Цитата: Азъ от 09.11.2023 17:41:47

 

Ничего не получится, пока вы будете бегать за разными гнусными англичанами и изображать продвинутость использованием английского языка и аббревиатур из него. Самостоятельность отсюда начинается.
PS Хотя я и сам не без греха.. Ну всё течёт, всё меняется.

• +0.00 / 0