Что такое тензор в нейросетях?

Итог: тензор - это массив чисел с несколькими измерениями. Почему так называют: математически это обобщение вектора и матрицы, просто с более пафосным именем.

Простыми словами Тензор - это контейнер для чисел с произвольным числом измерений: число (0 измерений), список чисел - вектор (1), таблица - матрица (2), и дальше уже трёх- и четырёхмерные структуры, для которых отдельного бытового названия нет, поэтому используют общий термин. Зачем в нейросетях Изображение, например, естественно представляется трёхмерным тензором: высота, ширина и цветовые каналы. Пакет из нескольких изображений сразу - уже четырёхмерный тензор, добавляется измерение «номер картинки в пакете». Почему термин именно из библиотек Библиотеки вроде тех, что стоят за современными нейросетями, работают именно с тензорами как с базовым типом данных, отсюда слово и лезет в документацию на каждом шагу, даже когда речь идёт о самых простых числах.