IT в России и мире в реалиях мирового кризиса
1,311,735
7,878
Город над вольной Невой
Карма: +0.29
Регистрация: 08.10.2007
Сообщений: 2,583
Читатели: 0
Регистрация: 08.10.2007
Сообщений: 2,583
Читатели: 0
Цитата: Сизиф от 15.04.2022 11:31:12То что комиссия не при Кабмине создана, а при Совбезе, знак очень высокого приоритета проблемы. Полномочия у Совбеза, если их придется задействовать, совсем не детские. И оперативность принятия решений и управления гораздо выше.
Бум надеяться. А то я помню попытки планирования перевести госструктуры на юниксоподобные ещё к 2015 году. Альт и ныне там. Всё было тихо спущено на тормозах.
"Всякий мнит себя стратегом, видя бой со стороны" (С) Шота Руставели
55 лет
Карма: +324.84
Регистрация: 20.11.2008
Сообщений: 26,996
Читатели: 52
Глобальный Модератор
Регистрация: 20.11.2008
Сообщений: 26,996
Читатели: 52
Глобальный Модератор
Цитата: graycat от 15.04.2022 11:04:39Ну, с этим получше. Эльбрусы таки это собственная архитектура, совсем своя, не завязанная на ARM и прочее.
Я не очень хорошо сделал, что использовал термин "архитектура", но если честно, забыл правильный.
Архитектура, как способ каким транзисторы объединяются в регистры, декодеры и сумматоры, а регистры, декодеры и сумматоры максимально компактно размещаются на кристалле с учётом теплоотвода и соединений - по максимуму завязана на техпроцесс, концентрации легирующих, толщины оксидов, число слоёв металлизации и прочие неприятности. А если мы изобретаем число и длину регистров, систему команд, их использующую, но при этом опираемся на чужую технологию с чужими библиотеками элементов - это минимум наполовину чужая архитектура.
"Иван Грозный помещает на рабочий стол полученный от хана ярлык."(с) Не моё.
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: Senya от 15.04.2022 07:21:33Неявно подразумевается, что развитие железа и архитектур происходит там же, где гнездятся птг и кернел - на Западе. Забудьте.
Вы так и ничего не поняли. Те, кто развивает железо и архитектуры, никак не влияют на то, какой софт на их железе будет работать. Они в отношении возможностей влияния отстали на полста лет и сегодня, наоборот, подстраиваются под софт, никакого вляния на него не оказывая. Полста лет назад случилась PDP-11, которая породила язык C, покрывший как бык овцу все, что потом случилось в железе с тех пор и до нынешних времен. Наверное не стоит упоминать, ради какой цели создавался этот язык. Кстати, цель эта была достигнута буквально в считанные месяцы небольшим коллективом, а не в течение каких-то мифических десятков тысяч программисто-лет. В альтернативном мире мейнфреймов IBM, кстати, происходили схожие процессы – в какой-то момент железо порождает софт. котороый потом всецело и полностью определяет весь последующий жизненный путь этого железа, формируя своеобразную воронку водовората притяжения. И любые попытки выскочить из этого водоворота оказываются безрезультатны – история вининтел не даст соврать.
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: qurvax от 15.04.2022 15:40:03А что там вам на кернелорге и гнутиках такого нужного прям? Скажите куда залить.
Так они пока еще доступны нам, как и вам. А что касается интел, то залейте нам свежее руководство по программированию их процессоров "Intel® 64 and IA-32 Architectures Software Developer’s Manual". Партномер 325462. Последний доступеый был 325462-074US от апреля прошлого года.
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: Senya от 15.04.2022 13:25:20Я не очень хорошо сделал, что использовал термин "архитектура", но если честно, забыл правильный.
Архитектура, как способ каким транзисторы объединяются в регистры, декодеры и сумматоры, а регистры, декодеры и сумматоры максимально компактно размещаются на кристалле с учётом теплоотвода и соединений -
То, что вы описали, это не архитектура, а транзисторный и регистровый уровни ИС. Архитектура чуть повыше – это то, где сущности доступны программисту – АЛУ, регистровый пул, шины, инструкции и способы адресации ячеек памяти. Например, x86_64, arm и power имеют одинаковые как транзисторный, так и регистровый уровень, но архитектура у них разная.
55 лет
Карма: +324.84
Регистрация: 20.11.2008
Сообщений: 26,996
Читатели: 52
Глобальный Модератор
Регистрация: 20.11.2008
Сообщений: 26,996
Читатели: 52
Глобальный Модератор
Цитата: adolfus от 16.04.2022 11:33:19То, что вы описали, это не архитектура, а транзисторный и регистровый уровни ИС.
Да, спасибо. Я имел ввиду, что это один из уровней, без которого невозможно собственное производство.
"Иван Грозный помещает на рабочий стол полученный от хана ярлык."(с) Не моё.
Вильнюс
Карма: +11.85
Регистрация: 29.03.2017
Сообщений: 2,345
Читатели: 1
Регистрация: 29.03.2017
Сообщений: 2,345
Читатели: 1
Цитата: adolfus от 16.04.2022 02:10:20Так они пока еще доступны нам, как и вам. А что касается интел, то залейте нам свежее руководство по программированию их процессоров "Intel® 64 and IA-32 Architectures Software Developer’s Manual". Партномер 325462. Последний доступеый был 325462-074US от апреля прошлого года.
http://tempfiles.ru/…avykr0ol8c
Версия за декабрь 2021.
блин, 100500 лет ничерта не заливал, уже и обменников не знаю удобных. Надеюсь сойдет вот этот.
Отредактировано: qurvax - 19 апр 2022 11:48:38
Консервированный чужой. Осторожно запах!
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: qurvax от 19.04.2022 11:38:50http://tempfiles.ru/…avykr0ol8c
Версия за декабрь 2021.
блин, 100500 лет ничерта не заливал, уже и обменников не знаю удобных. Надеюсь сойдет вот этот.
Спасибо, это оно. Прямую ссылку на документ не выложите? Может их внутренние ресурсы доступны и можно таки туда забраться.
Самые лучшие файлообменники для такого рода контента – rutracker.org и gen.lib.rus.ek. Там будет прибито гвоздями и не пропадет ни через месяц, ни через несколько лет.
Отредактировано: adolfus - 21 апр 2022 11:13:10
Вильнюс
Карма: +11.85
Регистрация: 29.03.2017
Сообщений: 2,345
Читатели: 1
Регистрация: 29.03.2017
Сообщений: 2,345
Читатели: 1
Цитата: adolfus от 21.04.2022 11:03:33Спасибо, это оно. Прямую ссылку на документ не выложите? Может их внутренние ресурсы доступны и можно таки туда забраться.
Самые лучшие файлообменники для такого рода контента – rutracker.org и gen.lib.rus.ek. Там будет прибито гвоздями и не пропадет ни через месяц, ни через несколько лет.
Незачто. Посмотрю на либрусек в следующий разок. А рутрекер - много лишнего гимора в оформлении раздачи. Тогда уж просто магнит давать лучше, наверное.
По прямой сылке: Они за клаудфронтом, там ссылки живут недолго, моя, вот, уже сдохла.
P.S. К сожалению в правилах либрусека есть такое "official texts that are freely available - laws, standards, regulatory documents".
-----
-----
-----
Админы ГА, может ящик для трофеев таки запилите? И, желательно, через ssh (sftp/scp, чеугодно за туннелем...). Было бы идеальненько для подобных случаев, и без палева почти.
Отредактировано: qurvax - 21 апр 2022 17:36:16
Консервированный чужой. Осторожно запах!
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: DarkRaider от 24.04.2022 03:30:25Прошу прощенья, а какого рода сверенье на таком образце? Что на выходе?
Сравниваем два списка, таких объектов.
В результате выставляются веса, указывая какой объект какому соответствует
Отдаем готовый список сопоставлений, с которым можно работать.
вот образец выдачи из другого примера, как можно увидеть стемминг не требуется.
"id": "585",
"code": "ALK",
"country": "37",
"title_en": "Asela",
"ap_name": "Asela",
"title_ru": "Асела",
"3:185__206084": {
"name_rus": "Assella",
"code": "ETALK",
"guid_country": "ET",
"latitude": "0757N",
"longitude": "03908E",
"guid": "ETALK",
"locode": "ALK",
"name_eng": "Assella",
"timezone": ""
}
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
Барнаул
58 лет
Карма: +18.25
Регистрация: 10.12.2019
Сообщений: 5,284
Читатели: 0
Регистрация: 10.12.2019
Сообщений: 5,284
Читатели: 0
Цитата: Азъ от 24.04.2022 08:58:35Сравниваем два списка, таких объектов.
В результате выставляются веса, указывая какой объект какому соответствует
Отдаем готовый список сопоставлений, с которым можно работать.
вот образец выдачи из другого примера, как можно увидеть стемминг не требуется.
"id": "585",
"code": "ALK",
"country": "37",
"title_en": "Asela",
"ap_name": "Asela",
"title_ru": "Асела",
"3:185__206084": {
"name_rus": "Assella",
"code": "ETALK",
"guid_country": "ET",
"latitude": "0757N",
"longitude": "03908E",
"guid": "ETALK",
"locode": "ALK",
"name_eng": "Assella",
"timezone": ""
}
Где образы "другого примера" ...Что с чем сопоставлялось?
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: OlegNZH-2 от 24.04.2022 09:14:41Где образы "другого примера" ...Что с чем сопоставлялось?
Вы о трубах?
Вечером по МСК.
сейчас уже на тренировку уехал.
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
Барнаул
58 лет
Карма: +18.25
Регистрация: 10.12.2019
Сообщений: 5,284
Читатели: 0
Регистрация: 10.12.2019
Сообщений: 5,284
Читатели: 0
Цитата: Азъ от 24.04.2022 09:16:55Вы о трубах?
Вечером по МСК.
сейчас уже на тренировку уехал.
Нет . Именно последнего ...
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: OlegNZH-2 от 24.04.2022 09:19:08Нет . Именно последнего ...
ловите, это старые тестовые, но боевые данные.
https://disk.yandex.ru/d/qw8JBcB1FLcL7w
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: Азъ от 24.04.2022 09:26:11ловите, это старые тестовые, но боевые данные.
https://disk.yandex.ru/d/qw8JBcB1FLcL7w
Посмотрел содержимое ваших файлов – никакой информации о трубах не нашел.
В презентации написано, что " KnoDL – технология способная оперировать с большим объемом разноформатных данных с высоким быстродействием без посторонних программных модулей и без знания их структуры."
Задача – есть базы данных коммунальщиков о платежах за коммунальные услуги. Есть база налоговой. Они никак не связаны. Выгружаем обе и подаем в вашу систему. Что она нам выдаст?
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: adolfus от 24.04.2022 19:39:59Посмотрел содержимое ваших файлов – никакой информации о трубах не нашел.
В презентации написано, что " KnoDL – технология способная оперировать с большим объемом разноформатных данных с высоким быстродействием без посторонних программных модулей и без знания их структуры."
Задача – есть базы данных коммунальщиков о платежах за коммунальные услуги. Есть база налоговой. Они никак не связаны. Выгружаем обе и подаем в вашу систему. Что она нам выдаст?
Что у нас есть в базе налоговой?
Есть точка пересечения?
PS по той же ссылке выложил результат сравнения городов все мусорные части, что бы посмотреть как он сам пытается сматчить.
PPS по той же ссылке выложил исходные файлы с трубами.
результат сравнения, или позже через пару часов, или завтра
СуперЗЫ смотреть лучше с замедлением, в 1,5 минуты пытались уложить 15 минут....это старая версия ядра (годовалой давности)
Скрытый текст
Отредактировано: Азъ - 24 апр 2022 20:28:20
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: Азъ от 24.04.2022 20:27:37Что у нас есть в базе налоговой?
Есть точка пересечения?
В базе организации и физлица. Идентификация, адреса, недвижимое и облагаемое движимое имущество.. У коммунальщиков кто где и на какой площади проживает, сколько чего потребляет, сколько платит... Задача вычислить тех, кто ворует у государства, скрывая доходы и уходя от налогообложения...
Отредактировано: adolfus - 24 апр 2022 22:14:17
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: adolfus от 24.04.2022 22:11:44В базе организации и физлица. Идентификация, адреса, недвижимое и облагаемое движимое имущество.. У коммунальщиков кто где и на какой площади проживает, сколько чего потребляет, сколько платит... Задача вычислить тех, кто ворует у государства, скрывая доходы и уходя от налогообложения...
Т.е. живет не по средствам?
На основании каких данных из коммуналки это вычислить?
Как на текущий момент решается задача?
Вот резиновые квартиры вычислить можно, это делал.
Опять же выверяя домовые отчеты по счетчикам воды. и сданным показателям жильцов.
Учет переданных жильцами показателей в одном форме ведется, показания с дома в другой, причем зависит от типа счетчика, как в свое время оказалось что у каждого производителя своя форма отчета, но это 3-5 лет назад.
Потом в эту тему не погружался.
Плюс нюанс, решив на текущих решениях эту задачу, если изменится форма отчета и т.д. любую современную систему придется корректировать...
С нами этого не нужно. Мы автоматически адаптируемся к изменение структуры данных.
PS И мы пока не система, мы технология. просто новая технология работы с данными.
У нас небольшой пока самостоятельный продукт, который я описал выше.
- Может помочь автоматически сверять списки.
- делать де-дубликацию данных
- очищать и обогащать данные.
Основная особенность не нужна подготовка данных, не нужно проверять на орфографию (нормализация - стемминг не нужен).
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
46 лет
Карма: +0.35
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Регистрация: 11.03.2011
Сообщений: 89
Читатели: 0
Цитата: adolfus от 24.04.2022 19:39:59Посмотрел содержимое ваших файлов – никакой информации о трубах не нашел.
В презентации написано, что " KnoDL – технология способная оперировать с большим объемом разноформатных данных с высоким быстродействием без посторонних программных модулей и без знания их структуры."
Задача – есть базы данных коммунальщиков о платежах за коммунальные услуги. Есть база налоговой. Они никак не связаны. Выгружаем обе и подаем в вашу систему. Что она нам выдаст?
Трубы выложил, по той же ссылке.
там два файла добавились
tubes.json - результат
class_dict.json - вспомогательный словарь, который появился в ходе сопоставления и который помог создать сам KnoDL
процесс выглядел так.
Сделали внутренней командой dict extract, получили список важных строк, на которые можно сделать маппинг, также можно добавить маппинг по своему усмотрению, что и делалось — переводился размер в исходных данных в формат NNNxNNN
после этого уже применяется маппинг, и матчинг идёт на новый полученный словарь
сам кнодль понять не может, что нужно формат размера привести
образец результата. на все про все 15 минут. с выявлением важных строк. и последующего сопоставления.
{
"_CODE": "7",
"_TRU": "Труба круглая стальная б/ш г/д 102х12 ст20 немерная",
"3:277__51975": {
"TRU": "ТРУБА МЕТАЛЛИЧЕСКАЯ; ТИП г/д, МАТЕРИАЛ ст20, 102x12 102х12, ",
"CODE": "997356"
}
},
У бандарлогов нет закона.У них нет собственного наречия; они пользуются украденными словами, которые подслушивают, когда подглядывают за нами, прячась в ветвях. У них нет памяти. Они хвастаются, болтают, уверяют, будто они великий народ, готовый совершать
Карма: +21.35
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Регистрация: 12.02.2010
Сообщений: 11,480
Читатели: 2
Цитата: Азъ от 25.04.2022 07:45:44Т.е. живет не по средствам?
На основании каких данных из коммуналки это вычислить?
Как на текущий момент решается задача?
Сравнивается официальный доход исходя из суммы выплаченных налогов и коммунальные платежи, состав семьи и прочее, включая регистрацию недвижимого и движимого имущества. Если у человека, например, официальный годовой доход, исходя из уплаченного подоходного налога, меньше, чем коммунальные расходы по его недвижимости, к нему возникают вопросы. Если он не может внятно на них ответить, у него возникают проблемы. Во времена "охоты на тунеядцев" в РБ таких было выявлено более полумиллиона. После "охоты" почти четверть их легализовалась.