Стриминг ответа

Стриминг отдаёт ответ по мере генерации, токен за токеном, а не целиком в конце. Плюсы: пользователь видит первые слова почти сразу — воспринимается быстрым; можно прервать генерацию досрочно и сэкономить; ощущение живого ответа. О чём помнить: ответ приходит частями — их надо собирать; финальную валидацию (например, JSON) делаешь по завершении, а не на кусках; обработка ошибок сложнее (соединение может оборваться посреди потока). Для чата и длинных ответов стриминг почти обязателен, для короткого JSON под машину — не нужен. Правило: стримь то, что читает человек; для машинного JSON дождись полного ответа и валидируй.