Что такое переобучение нейросети?

Да, это классическое переобучение: модель запомнила частности обучающих примеров вместо общей закономерности, поэтому и плывёт на новых данных.

Похоже на переобучение, да. Проверьте признаки.

• на обучающих данных результат почти идеальный, на новых - заметно хуже;
• модель слишком узко подогнана именно под ваш небольшой набор примеров, а не под общую логику задачи;
• обучающих данных было мало или они слишком однотипные;
• модель слишком долго или слишком много раз училась на одном и том же наборе;
• решение - добавить больше разнообразных примеров, остановить обучение раньше или использовать методы регуляризации, которые не дают модели заучивать данные буквально;
• если делаете это не с нуля, а через готовый сервис дообучения, там часто есть готовые настройки против переобучения из коробки.

Переобучение - когда модель заучила примеры наизусть, а не поняла закономерность. Пример: идеально отвечает на знакомые данные, но плывёт на новых.