Если пытаться встроить RAG (Retrieval-Augmented Generation) в мобильное приложение на Flutter, стандартный подход с REST-запросами быстро покажет свои ограничения. Особенно когда речь идёт о генерации текста — пользователю важно видеть ответ сразу, по токену, а не ждать, пока всё сгенерируется и прилетит пачкой. В вебе с websocket и SSE всё вроде понятно, но на мобиле и в Flutter — свои нюансы.
В этой статье расскажу, как на практике реализовать клиент SSE в Flutter для стриминга RAG-ответов. Разберём, почему обычный http.post не подходит, как правильно читать поток и обновлять UI без лишних перерисовок, а ещё дам пару полезных советов по управлению жизненным циклом и latency.
Почему REST-запросы не годятся для AI UX на мобильных
REST с его классическим request-response — это всегда ожидание полного ответа. С генеративными моделями и RAG это приводит к задержкам, которые пользователь воспринимает как лаги или “зависание”. Особенно если генерация идёт долго — 3, 5, 10+ секунд.
Можно, конечно, сделать polling — посылать запросы, чтобы получить новые части данных. Но это неэффективно и создаёт лишнюю нагрузку на сеть и сервер. Ещё хуже — UI будет обновляться рывками, а не плавно, что убивает vibe.
Вот тут на помощь приходят стриминговые протоколы — websocket или SSE (Server-Sent Events). SSE проще реализовать, особенно если сервер уже поддерживает HTTP/1.1 и отдаёт chunked-ответ. Flutter умеет слушать такие потоки, но стандартный http.post не даст доступа к частям ответа — он ждёт полного тела.
Dart SSE Stream Client: читаем поток из http.Request
Вместо http.post нужно использовать http.Client и метод send, который возвращает http.StreamedResponse. Он позволяет читать ответ по кускам — byte chunks, которые мы декодируем и парсим в JSON.
Вот упрощённый пример на Dart, который я адаптировал из реального кода:
import 'dart:convert';
import 'package:http/http.dart' as http;
class RagStreamService {
final http.Client _client = http.Client();
Stream<String> streamQuery(String query) async* {
final uri = Uri.parse('https://api.example.com/v1/rag/stream');
final request = http.Request('POST', uri);
request.headers['Content-Type'] = 'application/json';
request.body = jsonEncode({'query': query});
final response = await _client.send(request);
if (response.statusCode != 200) {
throw Exception('Failed to connect to RAG stream: ${response.statusCode}');
}
await for (final chunk in response.stream
.transform(utf8.decoder)
.transform(const LineSplitter())) {
if (chunk.startsWith('data: ')) {
final data = chunk.substring(6).trim();
if (data == '[DONE]') break;
final decoded = jsonDecode(data) as Map<String, dynamic>;
final token = decoded['token'] as String?;
if (token != null) {
yield token;
}
}
}
}
void dispose() {
_client.close();
}
}
Обратите внимание, что мы используем await for для асинхронного перебора строкового потока. Каждая строка приходит с префиксом data: — это стандарт SSE. Когда сервер отправляет [DONE], мы закрываем стрим.
Как прокачать UI: эффективное обновление по токенам
Главная боль: если каждый токен вызывает setState во всём экране, мы получим лишние перерисовки и лаги. Чтобы держать UI отзывчивым, нужно изолировать обновления.
В моей практике хорошо работает такой паттерн:
- Создать отдельный виджет с
StreamBuilder<String>, который слушает поток токенов. - Внутри накапливать текст и отрисовывать его по мере поступления.
- В основной экран передавать только готовый ответ или состояние загрузки.
Пример упрощённого виджета:
class StreamingAnswerCard extends StatefulWidget {
final Stream<String> tokenStream;
const StreamingAnswerCard({required this.tokenStream, Key? key}) : super(key: key);
@override
_StreamingAnswerCardState createState() => _StreamingAnswerCardState();
}
class _StreamingAnswerCardState extends State<StreamingAnswerCard> {
final StringBuffer _buffer = StringBuffer();
@override
Widget build(BuildContext context) {
return StreamBuilder<String>(
stream: widget.tokenStream,
builder: (context, snapshot) {
if (snapshot.hasData) {
_buffer.write(snapshot.data);
}
return Container(
padding: EdgeInsets.all(16),
decoration: BoxDecoration(
color: Colors.grey[900],
borderRadius: BorderRadius.circular(8),
),
child: Text(
_buffer.toString(),
style: TextStyle(color: Colors.white, fontSize: 16),
),
);
},
);
}
}
Так мы обновляем только маленькую часть — текст внутри карточки — а не всю страницу. Если нужно — можно ещё оптимизировать с помощью ValueNotifier или ChangeNotifier, но StreamBuilder часто хватает.
Важные детали: latency, статус и управление ресурсами
- Разделяйте время поиска по векторному индексу и генерацию токенов. Сервер может сначала отправить статус поиска, а потом начать стримить токены, чтобы быстрее сделать UI живым.
- Закрывайте http.Client при уничтожении виджета. Если пользователь уйдёт со страницы во время генерации, поток надо прервать, иначе будут утечки памяти и открытые сокеты.
- Обрабатывайте ошибки в стриме. Сервер может оборвать соединение или прислать некорректные данные — нужно ловить исключения и корректно закрывать UI.
Кому пригодится такой подход
Если вы разрабатываете мобильное приложение с AI-интеграцией, где важен UX генерации текста — например, чат с LLM, ассистент или поиск с дополнением через RAG — то стриминг через SSE в Flutter сильно улучшит впечатление.
Минусы:
- SSE не работает через прокси и некоторые корпоративные сети.
- Сервер должен поддерживать chunked transfer encoding и SSE протокол.
- Flutter не даёт готового SSE клиента — нужно писать на основе http.Client.
Если хотите поглубже — изучите MCP (Multi-Channel Protocol) и RAG+agentic workflows, чтобы понять, как можно параллельно стримить не только текст, но и статусы, подсказки и дополнительные данные.
В итоге, стриминг RAG в Flutter через SSE — это прямой путь к плавному AI UX без лишних задержек. Главное — правильно читать поток, аккуратно обновлять UI и контролировать ресурсы. Если сейчас вы мучаетесь с REST и устаревшими подходами, попробуйте этот паттерн — он реально работает и сильно экономит нервы пользователей.