Что такое контекстное окно в нейросетях?

128к это очень много, обычному человеку хватит и меньше

Контекстное окно - это максимум текста, который модель обрабатывает за один раз.

• измеряется в токенах, а не в словах напрямую;
• 32к токенов - примерно 20-24 тысячи русских слов;
• 128к - уже в разы больше, целая книга среднего размера;
• чем окно больше, тем модель дороже в вычислениях и медленнее отвечает на очень длинные запросы;
• поэтому у разных сервисов размер окна разный - это баланс между удобством и стоимостью.

Технически это лимит токенов на один диалог. Пример: 32к - около 20 тысяч слов, 128к - уже целая книга.

Итог: контекстное окно - это просто размер «оперативной памяти» модели на один диалог, измеряется в токенах. Почему цифры разные: чем больше окно, тем дороже и медленнее вычисления на каждый ответ, поэтому компании выбирают компромисс между удобством для пользователя и своими расходами на железо - отсюда и разброс от 8к у старых моделей до сотен тысяч токенов у новых.