IT в России и мире в реалиях мирового кризиса

Цитата: adolfus от 08.11.2020 02:13:29Nvidia не занимается нейросетями и ничего для их моделирования специально не выпускает. Nvidia занимается высокопроизводительными вычислениями, рендерингом графики и чипсетами для материнок. И причем Nvidia GPU к IVA TPU не совсем понятно. Это как сравнение безногого с хромым – второй в любом случае потеснит первого на соревнованиях по ходьбе.

Цитата: slavae от 05.11.2020 19:13:53Да херня этот мем. Я покупал штук 10 телефонов с али, всё всегда было нормально.

Цитата: Aристарх от 09.11.2020 19:27:56Вот аналогично. С 2000 года было 4 телефона, все кнопочные, все рабочие (только аккумуляторы у них умирают). Пятый в январе подарили жена с дочкой на ДР, сказали, что я задолбал своим консерватизмом, вручили и велели осваивать смартфон (со всеми этими Вацапами-Виберами-Телеграммами). Из наиболее полезного - Яндекс-Навигатор туда поставил, город-то неплохо знаю, а в пригородах могу и заплутать.И фото-видео теперь частенько пользуюсь. 
 У аккуратных пряморуких людей вещи десятилетиями могут служить.
А жене и дочке только успеваю экраны менять (по Ютубу научился). Вот когда утопляют тут уж все, по паре штук в год уничтожают и новые покупают, не из-за моды. (

Цитата: Aристарх от 09.11.2020 19:27:56Вот когда утопляют тут уж все, по паре штук в год уничтожают и новые покупают, не из-за моды. (

Цитата: Cheen от 09.11.2020 21:15:23У меня три телефона с 02 года.
И планшет

Цитата: Aристарх от 09.11.2020 19:27:56А жене и дочке только успеваю экраны менять (по Ютубу научился). Вот когда утопляют тут уж все, по паре штук в год уничтожают и новые покупают, не из-за моды. (

Цитата: dmitriк62 от 09.11.2020 11:01:27Вы б хоть пару строк прочитали про архитектуру Нвидии, прежде чем писать сюда такую чушь.
Значительная часть кристалла у них — тензорные процессоры, которые и реализованы в обсуждаемом устройстве.

Цитата: Longspig от 09.11.2020 23:11:00Ладно бы только "утопляют". Иногда такое может и прокатит. Но они же, сразу после "спасения", его под струю воды мыть суют

Цитата: vaa от 09.11.2020 18:19:33как я скучно живу....
Сейчас задумался, посчитал... Оказалось, что я за всю свою никчемную жисть купил (включая аппараты двум детям, жене, себе любимому и родителей) всего 9 телефонов... И это при том, что к чуду мобильной связи присосался еще в 1999 годЕ....
ЗЫ. Справедливости ради - дети сейчас выросли, разбежались и уже по N аппаратов поменяли - но это уже их собственные тараканы...

Цитата: Reader. от 10.11.2020 08:52:53Сотовые - это очень весело!

Цитата: adolfus от 10.11.2020 01:03:56У них – это у кого? У нвидии? Модель GPU назовите, у которой значительная часть кристалла "тензорные" процессоры. Я больше имею дело с вычислениями на их гпу через куду и другими их железками не интересуюсь.
И, кстати, что это за процессоры такие, "тензорные"? Стово "тензорный" в приложении к нейросетям означает обыкновенную двумерную свертку, возраст которой в быстром    варианте семьдесят с лишним лет (ЕМНИП, в 1946 году опубликовали первую статью про двумерное БПФ, лежащее в ее основе).

Цитата: dmitriк62 от 10.11.2020 10:40:12Ну вот современный кристалл GA100:
   

Скрытый текст

    
Есть огромная масса приложений, которая использует только эту часть, CUDA там нужна только для загрузки тензорных регистров. 
Остальное на чипе у Ненавидии просто простаивает на этих задачах.
    
И вот наши ребята для таких модных приложений сделали вдвое более эффективную архитектуру без всех остальной требухи вроде видеодекодера, текстуринга, трассировки лучей, всяких int/float/double вычислителей и т.д.
Так что им можно только рукоплескать...

Цитата: adolfus от 10.11.2020 12:06:43Эти "тензорные" ядра никакого отношения к AI не имеют – это просто ускорители операции свертки c^i_j = a^i_k b^k_j. То, что их используют в обучении тренировке нейросетей, ничего к этим ядрам не добавляет – эти ядра предназначены для выполнения матричных операций, в частности, для перемножения матриц, что есть свертка в чистом виде. И то, что AIлы внезапно обнаружили это, не делает их сугубо AIными. К AI эти ядра имеют такое же отношение, как кислое к щам.

Цитата: dmitriк62 от 10.11.2020 12:40:03Вы пишете о вещах, о которых не имеете ни малейшего представления.

ЦитатаThird-Generation NVIDIA Tensor Core
Tensor Cores are specialized high-performance compute cores for matrix math operations that
provide groundbreaking performance for AI and HPC applications. Tensor Cores perform matrix
multiply and accumulate (MMA) calculations...

-- Пщщпду екфтыдфеу --
Тензорные ядра – это специализированные высокопроизводительные вычислительные ядра для матричных математических операций, которые обеспечивают революционную производительность для приложений AI и HPC. Тензорные ядра выполняют вычисления матричного умножения с накоплением (MMA)...

ЦитатаGeneral Matrix-Matrix Multiplication (GEMM) operations are at the core of neural network
training and inference, and are used to multiply large matrices of input data and weights in
various layers. The GEMM operation computes the matrix product D = A * B + C, where C and
D are m-by-n matrices, A is an m-by-k matrix, and B is a k-by-n matrix. The problem size of
such GEMM operations running on Tensor Cores is defined by the matrix sizes, and typically
denoted as m-by-n-by-k.

Цитата: adolfus от 10.11.2020 20:23:27Не надо столь аппеляционно... Вот читата из документации на кишки того самого GA100, что Вы упомянули (стр. 22)

Этот самый "matrix multiply" и есть свертка в ее чистейшем виде. Запишу еще раз эту операцию лично для Вас в тензорной нотации:

c^i_j = a^i_k b^k_j

На всякий случай, если Вы "не имеете ни малейшего представления" о LaTeX, картинку даю

На всякий случай, если Вы "не имеете ни малейшего представления" о тензорной нотации, даю картинку в матричной форме в компонентах

Там, правда, про MMA, но даже коза знает, что MMA = MM + A.  (в чисто матричной форме)

На следующей странице того же мануала вышеизложенное развивается и детализируется для школоло

даже переводить не буду...

Цитата: Вариант от 11.11.2020 11:05:28Об  NVDIA
Господа-товарищи-коллеги , а не проще было у nvidia спросить, делается там что-то или нет в обсуждаемом вами направлении. Извините, просто удивило, что никто не сходил к ним на сайт ну или не дал ссылок.

https://www.nvidia.c…xavier-nx/
https://www.nvidia.c…/learn-ai/
https://www.nvidia.c…-platform/

Цитата: dmitriк62 от 11.11.2020 09:55:26Послушайте, господин любитель оскорбить.
Я Вам не школоло.
А вот Вы, копирующий детсадовскую элементарщину из учебника (видимо, и сам не особо её понимая) — типичный трололо.

Цитата: dmitriк62 от 11.11.2020 09:55:26Вы хоть посмотрели бы, с какими типами данных работает вся эта сноповязалка, тогда, может быть, и задумались бы, для чего всё это сделано...

Цитата: adolfus от 11.11.2020 20:20:36Я выше дал ссылку на документацию, где черным по белому написано, что эти "тензорные" процессоры вычисляют свертку с накоплением.

Цитата: dmitriк62 от 12.11.2020 11:00:32В отличие от Вас, я эту документацию давно зачитал до дыр.
   
Нвидия (в отличие от придурков типа Интеля) при развитии архитектур постоянно работает напрямую с пользователями.
И абстрактные вещи никогда не внедряет.
    
Так вот, задумайтесь, кому нужна свёртка с такими типами данных (вроде int4, например)?
При отсутствии поддержки даже float32.
    
Такое нужно только для одного из специфических подходов к ИИ, больше нигде.
И они — мировой лидер в этой области сейчас.
    
Возвращаясь к началу дискуссии — наши ребята сделали такой спецпроцессор без ненужной требухи, да ещё и в два раза более эффективный.