IT в России и мире в реалиях мирового кризиса

1,294,573 7,820
 

Фильтр
Siberian
 
russia
Слушатель
Карма: +0.75
Регистрация: 07.04.2021
Сообщений: 162
Читатели: 0
Цитата: GrinF от 07.02.2024 23:53:16а архитекура процессоров под матрицы тензоры  есть? или потом окажется что мыслишь ты можешь позитивно-тезорно, но что бы это рабатало нормально должен человек быть который тебе нормальную библиоеку напишет, причем для каждой хадачи может оказать нужна новая библиотека с очередной новой реализацией разряженных тензоров

В каком-то смысле - это современные GPU. За счёт распараллеливания вычислений, задачи  умножение матрицы на вектор, нахождение обратной матрицы и т.п. работают сильно быстрее. Библиотеки уже есть, активно используются для нейросетей.
  • +0.07 / 4
  • АУ
small__virus
 
russia
Сочи
Слушатель
Карма: +26.24
Регистрация: 04.04.2013
Сообщений: 1,959
Читатели: 3
Цитата: adolfus от 06.02.2024 10:29:03Да, юзает всю его стандартную и математическую библитеку. Смотрим:


Во первых, есть стандартные форматы данных.
Byte, int, longint. И это к C/CPP вообще не имеет отношения.
Во-вторых, я видео не просто так притаскивал.
Скажите, на языке Си, какой формат данных будет иметь переменная, в которую вытащили текст из .PDF?
Напомню, там текста может быть больше нескольких мегабайт.
Дискогрыз полиморфный обыкновенный, редчайшей породы гад, падла зеленая...
  • -0.01 / 1
  • АУ
slavae
 
russia
Москва
Слушатель
Карма: +193.67
Регистрация: 21.03.2013
Сообщений: 27,188
Читатели: 7
Цитата: small__virus от 08.02.2024 09:18:22Скажите, на языке Си, какой формат данных будет иметь переменная, в которую вытащили текст из .PDF?
Напомню, там текста может быть больше нескольких мегабайт.

8 байт указатель )
Отредактировано: slavae - 08 фев 2024 10:13:25
Империя - это мир, и этой идеологии достаточно. Мы живём в самой лучшей стране в мире и все нам завидуют.
Одушевлённое Одевают, Неодушевлённое Надевают.
  • +0.00 / 0
  • АУ
physchem
 
Слушатель
Карма: 0.00
Регистрация: 20.04.2014
Сообщений: 216
Читатели: 0
Цитата: slavae от 08.02.2024 10:11:128 байт указатель )

По моему и вопрос и ответ не очень корректные. Все зависит от реализации.
Я бы положил в структуру с полями, описывающими этот текст.
  • +0.00 / 0
  • АУ
small__virus
 
russia
Сочи
Слушатель
Карма: +26.24
Регистрация: 04.04.2013
Сообщений: 1,959
Читатели: 3
Цитата: slavae от 08.02.2024 10:11:128 байт указатель )

8-ю байтами не отделаетесь...
".... маловато будет.."  (цы) по нынешним нормам...
Дискогрыз полиморфный обыкновенный, редчайшей породы гад, падла зеленая...
  • +0.02 / 2
  • АУ
dmitriк62
 
russia
Москва
62 года
Слушатель
Карма: +209.57
Регистрация: 15.07.2009
Сообщений: 30,025
Читатели: 8
Цитата: Siberian от 08.02.2024 07:13:46В каком-то смысле - это современные GPU. За счёт распараллеливания вычислений, задачи  умножение матрицы на вектор, нахождение обратной матрицы и т.п. работают сильно быстрее. Библиотеки уже есть, активно используются для нейросетей.

   
Вот именно — "в каком-то смысле".
Там либо есть готовое, но для очень узких областей — тогда можно и на питоне библиотечку подёргать (отсюда и возникают абсолютно безумные заявления типа "вчера за вечер написал нейросеть на питоне").
    
А на практике всё там довольно муторно и имеет не слишком много отношения к тому, чему учат при кодировании на паскалях и питонах...
Веселый
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • +0.00 / 3
  • АУ
dmitriк62
 
russia
Москва
62 года
Слушатель
Карма: +209.57
Регистрация: 15.07.2009
Сообщений: 30,025
Читатели: 8
Цитата: gb от 08.02.2024 12:36:10А на практике нужно иметь практический опыт и нарабатывать его. ))

   
Вы забыли добавить, что 2х2=4...
СмеющийсяСмеющийся
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • +0.03 / 1
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: gb от 08.02.2024 06:44:11С точки зрения решения прикладной задачи совсем не важно наличие или отсутствие специализированных процессоров.  Есть готовые библиотеки и надо делать решение с оглядкой на доступные инструменты. И там оказывается что операции с векторами просто на один-два порядка быстрее поэлементных операций с массивами той же размерности.  И без умничаний про разряженные матрицы.

Все ясно ... Вам предыдущий оратор, которого по вашей наколке забанили поставил диагноз  - ПТУ...
X
08 фев 2024 17:17
Предупреждение от модератора Сизиф:
Хамить не надо
  • +0.06 / 3
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: Siberian от 08.02.2024 07:13:46В каком-то смысле - это современные GPU. За счёт распараллеливания вычислений, задачи  умножение матрицы на вектор, нахождение обратной матрицы и т.п. работают сильно быстрее. Библиотеки уже есть, активно используются для нейросетей.

именно что в каком-то... матрицу на вектор умножить можно ...а свертку тензора 8 ранга с тензором 6 ранга по 4 индексам в 8 мерном пространстве не сделать - упрешься в производительность шины...
  • +0.00 / 0
  • АУ
dmitriк62
 
russia
Москва
62 года
Слушатель
Карма: +209.57
Регистрация: 15.07.2009
Сообщений: 30,025
Читатели: 8
Цитата: GrinF от 08.02.2024 14:25:54именно что в каком-то... матрицу на вектор умножить можно ...а свертку тензора 8 ранга с тензором 6 ранга по 4 индексам в 8 мерном пространстве не сделать - упрешься в производительность шины...

   
А в такой многомерной свёртке есть смысл для тех типов данных, что их тензоры поддерживают?
Думающий
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • +0.00 / 0
  • АУ
LightElf
 
ussr
Слушатель
Карма: +15.80
Регистрация: 02.09.2010
Сообщений: 2,603
Читатели: 1
Цитата: GrinF от 07.02.2024 23:47:14ага тольуко на питоне написано херова туча софта , который применяется повсеместно, здесь и чейчас, а о паскале только старые олдфаги в форумах перетирать... вот и вся небольшая разница

Да наплевать тридцать три раза, что там и на чем написано. При обучении важно не решить задачу, а понять саму суть метода решения. Поэтому таблица умножения, кросс и Паскаль. А не калькулятор, автобус и Питон.
  • +0.08 / 4
  • АУ
LightElf
 
ussr
Слушатель
Карма: +15.80
Регистрация: 02.09.2010
Сообщений: 2,603
Читатели: 1
Цитата: GrinF от 07.02.2024 23:49:32В шкрлаз не готовят програмеров... в школах шлтлвят детей, что бы они в веке информатизации могли решить несложные житейские задачи, используя домашний комп (а не только используя его как стрелялку)

Я совершенно согласен с тем, что в школе изучать программирование вредно. Но оно, таки, есть в программе и ЕГЭ по информатике - про программирование. И, раз уж оно там есть, учить надо нормально, не травмируя детям мозг.
  • +0.00 / 0
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: gb от 08.02.2024 07:10:53Самая элементарная вещь из области разработки роутеров.  От практических потребностей пользователя это очень далеко. Проблема в том, что гипотеза о любом типе распределения — очень провальная. Как гипотеза о среднем.  Потому что все пакеты могут приходить в самый последний момент. Нас учили ставить эксперименты и выяснять характер распределения, а не гадать.

Любая высказывание о бесконечных множествах провально  - ибо на практике никто их никогда и не видел... Но тем не менее на практике (как водится за неимением гербовой бумаги пишем на писчей) все пользуются асимпотоическими упрошенными моделями, поелику в значительной части отражают реальность, и дают оценки на длину буферов, вероятности переполнения, необходимое быстродействие и протчяя... Ежели чо можете почитать самую первую книгу Хинчина по теории массового обслуживания...  
https://ru.wikipedia…0%B8%D1%8F
http://ikfia.ysn.ru/…1963ru.pdf
Если не в курсе таже же вполне себе прикладная задача вознкикает в геологии, а мне приходилось  сталкиваться и при проектровании химических рекаторов
Если раньше программист обязан быть математиком (со знанием вычислительныой математики, т некоторым знанием архитектуры вычислительной системы), то теперь наступило время креативных дезигнеров, коорые живут в своих мечтах вне физических ограничений реального оборудования.
  • +0.07 / 3
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: small__virus от 08.02.2024 09:18:22Во первых, есть стандартные форматы данных.
Byte, int, longint. И это к C/CPP вообще не имеет отношения.
8
ЦитатаЕстественно не имеет ... Это имеет отношение к архитектуре вычислительного устройства, но си как раз близок к архитектуре, что бы создавать высокопроизводительный код
Цитата
Во-вторых, я видео не просто так притаскивал.
Скажите, на языке Си, какой формат данных будет иметь переменная, в которую вытащили текст из .PDF?


Тот который вы создадите в токене struct, который будет участвовать в обработке файла
Цитата

Напомню, там текста может быть больше нескольких мегабайт.

и шо с того - в с запрещено строки переменной длины?


  • +0.00 / 0
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: dmitriк62 от 08.02.2024 14:58:05А в такой многомерной свёртке есть смысл для тех типов данных, что их тензоры поддерживают?
Думающий

ну не знаю теперешнее же поколение последние 3 года вовсю колдует над тензорными светочными сетями... Только сбер 150 человек держит для создания колдовства в этой сфере (сразу точню сбер это не сбертех, в сбертехе там еще своя комманда колдунов тензорных есть|)
  • +0.00 / 0
  • АУ
dmitriк62
 
russia
Москва
62 года
Слушатель
Карма: +209.57
Регистрация: 15.07.2009
Сообщений: 30,025
Читатели: 8
Цитата: GrinF от 08.02.2024 15:32:15ну не знаю теперешнее же поколение последние 3 года вовсю колдует над тензорными светочными сетями... Только сбер 150 человек держит для создания колдовства в этой сфере (сразу точню сбер это не сбертех, в сбертехе там еще своя комманда колдунов тензорных есть|)

    
Эти колдуны там сворачивают 4- и 8-битные матрицы, типа для искусственного интеллигента...
Веселый
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • -0.01 / 1
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: LightElf от 08.02.2024 15:08:24Да наплевать тридцать три раза, что там и на чем написано. При обучении важно не решить задачу, а понять саму суть метода решения. Поэтому таблица умножения, кросс и Паскаль. А не калькулятор, автобус и Питон.

Нет их школы должен выййти человек знающих хотя бы основы современной жизни, а не предания селой старины...Поэтому латынь века эдак с начала 18 , и исчезла из научно инженерной практики (оставшись только медицине, и в биологии при названии видов)... поэтому неплохо бы что бы вышедший выпксник школы умел поользоваться питоном для которого есть 100500 современных пакетов, и программ, которую можно применить для решения каких-то несложных задач (типа статистик, обработки обрзов, построцка графиков)...Это для 99 из 100, а 1 из 100 , котрый пойдет в вуз научат , и как писть  софт,и как отлаживать, и расскажут о авторском праве, и прочяя - малоинтересных большинству, кроме профи, людей
  • -0.03 / 4
  • АУ
GrinF
 
Слушатель
Карма: +72.11
Регистрация: 15.02.2018
Сообщений: 6,295
Читатели: 4
Цитата: dmitriк62 от 08.02.2024 15:40:08Эти колдуны там сворачивают 4- и 8-битные матрицы, типа для искусственного интеллигента...
Веселый

не всегда так ... из известных мне колдунов, часть таки пытается понять как работает эти свертки (аудирование), поскольку им это известно заранее возникают галюцинации с немалой частотой
  • +0.00 / 0
  • АУ
Vladislav34
 
Слушатель
Карма: +0.01
Регистрация: 21.12.2023
Сообщений: 10
Читатели: 0
Цитата: GrinF от 08.02.2024 15:43:39поэтому неплохо бы что бы вышедший выпксник школы умел поользоваться питоном для которого есть 100500 современных пакетов, и программ, которую можно применить для решения каких-то несложных задач (типа статистик, обработки обрзов, построцка графиков)...Это для 99 из 100

Это из области научной фантастики, современные тренды говорят об обратном. Смею предположить, что скоро выпускники школы и родного языка на должном уровне знать не будут.
  • -0.05 / 2
  • АУ
dmitriк62
 
russia
Москва
62 года
Слушатель
Карма: +209.57
Регистрация: 15.07.2009
Сообщений: 30,025
Читатели: 8
Цитата: Vladislav34 от 08.02.2024 16:19:22Это из области научной фантастики, современные тренды говорят об обратном. Смею предположить, что скоро выпускники школы и родного языка на должном уровне знать не будут.

   
У вас в Канадщине — уже не знают.
Ни английского, ни мовы.
Обеспокоенный
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • +0.00 / 0
  • АУ
Сейчас на ветке: 5, Модераторов: 0, Пользователей: 0, Гостей: 3, Ботов: 2