IT в России и мире в реалиях мирового кризиса

Цитата: qurvax от 10.11.2023 11:05:18Мне, например. Научить это с лету жрать разнокалиберные логи и выплевывать упорядоченное - голубая (в хорошем смысле) мечта. Пока обещали многие, но не справился никто.

Я даже обещать не буду) 
Но как образец вот сверка двух номенклатурных справочников)))
{
        "el": 111978,
        "fr": {
            "Name1": "Нож для снятия изоляции 8-28мм2 (крюк) HAUPA 200031"
        },
        "to": [            {                "el": 957887,                "to": {                    "Name2": "Инструмент для снятия изоляции HAUPA 200031 8...28мм"                }            }        ],
        "w": 0.199957778
    },
{
        "el": 145678,
        "fr": {
            "Name1": "3HE15508AA ПО - OS - 7210 SAS-Dxp 2SFP+ 4F6T Rel 11.0"
        },
        "to": [            {                "el": 859663,                "to": {                    "Name2": "Программное обеспечение Nokia OS-7210 SAS-Dxp 2SFP+ 4F6T Rel 11.0 3HE15508AA"                }            }        ],
        "w": 0.199723331
    },
[
('Лента клейкая упаковочная B50мм x L50м PP s40мкм прозрачная', 'Скотч широкий Арт. 143757\nПодробные характеристики\nШирина, мм: 50\nДлина, м: 50\nЦвет: прозрачный\nНазначение: для упаковки\nМатериал основы: двуосноориентированный полипропилен\nКлеевая основа: акриловая эмульсия\nВес упаковываемого груза (кг): до 5\nДополнительные свойства: универсальная\nМорозостойкость: Нет\nРекомендация по использованию: для легких коробок с гофрокартоном хорошего качества\nЕдиница продажи: штука\nСтрана происхождения: Россия\nТолщина, мкм: 40', 1.7854274), 
('Черенок 1200мм 40мм древесина', 'Черенок берёзовый, d = 40 мм, длина 120 см, 1 сорт', 6.8458678),

{
        "Name2": "Коробка раздаточная электромеханическая 316380180002100 автомобиль УАЗ",
        "9:053508067__34547_34946": {
            "Name1": "31638-1800021 Коробка раздаточная УАЗ~3163 Патриот дв.ЗМЗ~409 (I=4111) DYMOS (ОАО УАЗ) №\n31638-1800021\n"
        }

{
        "el": 133962,
        "fr": {
            "Name1": "3AV500780024 SAFETY PLATEF FOR FAN V2 TOP MOUNTING  /  ПАНЕЛЬ БЕЗОПАСНОСТИ ДЛЯ FAN V2 ВЕРХНИЙ МОНТАЖ"
        },
        "to": [            {                "el": 1191731,                "to": {                    "Name2": "Панель безопасности 3AV500780024 FAN V2"                }            }        ],
        "w": 0.299986082
    },

{
        "el": 113874,
        "fr": {
            "Name1": "53А-2201025-13 Крестовина ГАЗ~53 вала карданного (под стопорные кольца) в сборе (ОАО ГАЗ)"
        },
        "to": [            {                "el": 680291,                "to": {                    "Name2": "Крестовина 53А-2201025-13 вал карданный автомобиля ГА3"                }            }        ],

{
        "el": 166390,
        "fr": {
            "Name1": "120808-00041 Комплект маркировочный пластмассовый КМП (в упаковке 50 комплектов и 1 маркер) "
        },
        "to": [            {                "el": 414603,                "to": {                    "Name2": "Комплект маркировочный Связьстройдеталь КМП 120808-00041 для маркировки кабелей без надписей черный бирка пластмассовая 50шт, маркер-ручка, маркер самоламинирующийся 50шт, стяжка пластмассовая черная 100шт"                }            }        ],

Ну и вот красиво
{
        "Name2": "Коробка раздаточная электромеханическая 316380180002100 автомобиль УАЗ",
        "9:053508067__34547_34946": {
            "Name1": "31638-1800021 Коробка раздаточная УАЗ~3163 Патриот дв.ЗМЗ~409 (I=4111) DYMOS (ОАО УАЗ) №\n31638-1800021\n"
        }

Если у вас образцы.
Я бы с ребятами просто поигрался.
Вдруг что-то интересно выйдет.

Цитата: Азъ от 10.11.2023 11:45:47Если у вас образцы.
Я бы с ребятами просто поигрался.
Вдруг что-то интересно выйдет.

Образцы надо надергать и наваять, заменив реальные данные на белиберду ("санитизировав"). Это ручная, не то чтоб сложная, но сильно нудная, работа. Если не забуду, займусь на следующей неделе.

Цитата: Азъ от 09.11.2023 17:41:47KnoDL Document Manager
Мы разрабатываем собственное тех ядро (KnoDL - Knowledge Definition Language), которое умеет работать с данными без знания структуры, без предварительной разметки и без нормализации. Не ломается при смене структуры у подаваемых данных.
Плюс эта технология не нейросетевая и не требует машинного обучения. 
Умеем сопоставлять различные справочники между собой искать в справочниках дубли.
С этим тоже могу дать поиграться, висит сервис для друзей и демонстрации в облаке.
Вот демо ролик.

Ничего не получится, пока вы будете бегать за разными гнусными англичанами и изображать продвинутость использованием английского языка и аббревиатур из него. Самостоятельность отсюда начинается.
PS Хотя я и сам не без греха.. Ну всё течёт, всё меняется.

Цитата: slavae от 10.11.2023 15:26:40Ничего не получится, пока вы будете бегать за разными гнусными англичанами и изображать продвинутость использованием английского языка и аббревиатур из него. Самостоятельность отсюда начинается.
PS Хотя я и сам не без греха.. Ну всё течёт, всё меняется.

Если вы придираетесь к названию)))
То не имеет смысла. 
Есть и русский вариант))
но для спец применения, а английский вариант как для коммерческого так и для международного применения )))
Так что за лаймами никто не бегает))

а кнедлики просто это прикольно)))

Цитата: Азъ от 10.11.2023 15:33:19Если вы придираетесь к названию)))
То не имеет смысла. 
Есть и русский вариант))
но для спец применения, а английский вариант как для коммерческого так и для международного применения )))
Так что за лаймами никто не бегает))

а кнедлики просто это прикольно)))

Это можно было б назвать придирками, если бы мне от вас чего-то надо было. Но это всё вне моего внимания, я просто увидел название с закосом, ну и написал, что думаю. Просто в качестве мысли.

Цитата: slavae от 10.11.2023 15:47:45Это можно было б назвать придирками, если бы мне от вас чего-то надо было. Но это всё вне моего внимания, я просто увидел название с закосом, ну и написал, что думаю. Просто в качестве мысли.

Благодарю
Мы просто называем его кнодль (технология) или консольный вариант приложения kdl (кадээль)))
Это когда уже начинают приставать, а почему так назвали))
мы расшифровываем)))
С моей стороны наверно тоже профискажение, т.к. постоянно приходиться расшифровывать название.

Цитата: Luddit от 10.11.2023 20:50:59Гм. А где в вашем определении место скажем для воткнутого в категорированную машину USB-модема?

Тем что в роль "пользователюс вульгарис" прописано что ОС/надставка над ней скажет - "ой, у вас что-то в УСБ, "но посылку запустить это я вам не отдам - у вас документов нет"(С) ", а на вскрытие "ящика" - при загрузке по chassis intrusion в "отдел" уйдет алярм.

Цитата: Luddit от 10.11.2023 22:13:06Можно задать тот же вопрос для обычной флешки. У китайцев кстати были флешки, в которых можно её заводское имя менять.

Что такое "Заводское имя"?

Цитата: Luddit от 12.11.2023 19:13:27Набор байт, по которому система отличает одну флешку от другой.

Конкретно укажите

Цитата: Luddit от 12.11.2023 20:57:14Зачем, если система, стремящаяся отличить одну флешку от другой, может помнить в качестве имени весь набор?
И это совсем другая дискуссия, нежели вопрос правильности/полноты обсуждаемого определения термина "ИБ".

Системе не нужно отличать одну флешку от другой – ей на это насрать. И, вообще, о какой системе идет речь? О ядре, USB-драйвере, или о файловой системе?  Так им реально похер и вендор и мануфактурер. И нет систем, которых бы это интересовало – есть стандарты на протокол взаимодействия и все им следуют. Кто не следует, того просто не видят.

Цитата: adolfus от 26.11.2023 13:37:14

Уже работает. Там это время от времени случается.

Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
https://t.me/theworldisnoteasy/1850

ЦитатаЦитата: Телеграм-канал Малоизвестное интересное
Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
✔️ Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
✔️ Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.

Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.

О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.

В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.

Результаты.
✔️ По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
✔️ По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).

N.B. 1

• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).

N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура

Цитата: Азъ от 09.11.2023 17:41:47KnoDL Document Manager
Мы разрабатываем собственное тех ядро (KnoDL - Knowledge Definition Language), которое умеет работать с данными без знания структуры, без предварительной разметки и без нормализации. Не ломается при смене структуры у подаваемых данных.
Плюс эта технология не нейросетевая и не требует машинного обучения. 
Умеем сопоставлять различные справочники между собой искать в справочниках дубли.
С этим тоже могу дать поиграться, висит сервис для друзей и демонстрации в облаке.
Вот демо ролик. 

Как-то так...

Но разве это не RecordLinkage обычный?

Цитата: psv от 05.12.2023 00:14:34Но разве это не RecordLinkage обычный?

Мы не он.
Это пакет для питона
он умеет фуззи, но в нём нет автоматического альфа-отбора, как у нас.
PS

Цитата: Азъ от 05.12.2023 08:21:22Мы не он.
Это пакет для питона
он умеет фуззи, но в нём нет автоматического альфа-отбора, как у нас.
PS

Скрытый текст

Наш способ (технология) это построение характеризующей свёртки данных, которую можно делать не зависимо для любой записи и любой таблицы

затем эти свёртки (а они сильно меньше, чем сами данные) можно сопоставлять (и оно не точное, а фуззи) и получать кандидатов альфа-отбора, которые потом взвешиваем уже нашей полной функцией (да, у нас собственная метрика расстояния)
PPS 
Рекорд линкадж из этого умеет треть,
но он не ставит перед собой задачу альфа-, там это аут оф скоуп.
Т е. чтобы работал рекордоинкадж, нужно априори что-то о данных знать
А мы работаем вообще без априорных знаний о данных
Чтобы быть точным, нам нужна только техническая согласованность (кодировка и т.п.), но не знание структуры или смысла данных

Но генерировать хеш вместо признаков объекта перемолотых "в спектр" (по новомодному "ХХграммы") это вообще замшелый kernlab + "просто много кто" :))
А трешоилд вполне себе ищет 
Sariyar M., Borg A. and Pommerening M.: Controlling false match rates in record linkage using extreme value theory. Journal of Biomedical Informatics, doi:10.1016/j.jbi.2011.02.008.

Цитата: psv от 05.12.2023 15:26:27Но генерировать хеш вместо признаков объекта перемолотых "в спектр" (по новомодному "ХХграммы") это вообще замшелый kernlab + "просто много кто" :))
А трешоилд вполне себе ищет 
Sariyar M., Borg A. and Pommerening M.: Controlling false match rates in record linkage using extreme value theory. Journal of Biomedical Informatics, doi:10.1016/j.jbi.2011.02.008.

И что должно следовать из этого?
Куда загрузить данные любого формата и сделать дедуп хотя бы?
Мы, кстати, даже хеш не генерим, если уж оценивать замшелость.
Ну и давайте ещё сравним по количеству усилий и потребляемым ресурсам на круг.
)))
Если, считаете, что вам так лучше, то пользуйтесь)))
PS
Только вот что-то аналогов на рынке не видим, вроде бы

Цитата: Азъ от 05.12.2023 15:55:11Если, считаете, что вам так лучше, то пользуйтесь)))

Не волнуйтесь, лет десять как пользуемся и всем довольны

Цитата: psv от 05.12.2023 17:39:21Не волнуйтесь, лет десять как пользуемся и всем довольны

Я рад за вас, но это говорит только об одном.
Что за 10 лет вы не создали коммерческого или общедоступного продукта. Т.к потенциальные заказчики на рынке до сих пор бьются об стену по вопросам сопоставления /дедупликации справочников номенклатурных нормативных и т.д. 
А рынку это ой как нужно.

На хабре статья о сюрпризах - запрограммированных неисправностях, заботливо предусмотренных немцами для поляков.
Вкратце - поляки у немцев отобрали контракт на сервисное обслуживание поездов. После чего поезда начали вставать наглухо. Танцы с бубнами и хакерами выявили интересные вещи:
"...были найдены и координаты других служб, которые могли бы осуществлять ремонт и проверку поездов в Польше. Пары координат определяют территорию мастерских. В коде компьютера записано условие, предписывающее отключить возможность запуска поезда, если он проведет в одной из них не менее 10 дней...
...блокировка поезда при замене одного из его компонентов (проверяется по серийному номеру)...
...В другом поезде был обнаружен код, предписывающий ему «сломаться» после прохождения миллиона километров...


В общей сложности коллеги проанализировали программное обеспечение 29 поездов и только в пяти не обнаружили никаких сюрпризов, выходящих за рамки официальных инструкций по эксплуатации."

_{https://habr.com/ru/articles/778716/}