Потоковый RAG в Flutter через Server-Sent Events: как сделать UI отзывчивым

#Flutter#RAG#SSE#AI coding#streaming#mobile dev

Если пытаться встроить RAG (Retrieval-Augmented Generation) в мобильное приложение на Flutter, стандартный подход с REST-запросами быстро покажет свои ограничения. Особенно когда речь идёт о генерации текста — пользователю важно видеть ответ сразу, по токену, а не ждать, пока всё сгенерируется и прилетит пачкой. В вебе с websocket и SSE всё вроде понятно, но на мобиле и в Flutter — свои нюансы.

В этой статье расскажу, как на практике реализовать клиент SSE в Flutter для стриминга RAG-ответов. Разберём, почему обычный http.post не подходит, как правильно читать поток и обновлять UI без лишних перерисовок, а ещё дам пару полезных советов по управлению жизненным циклом и latency.


Почему REST-запросы не годятся для AI UX на мобильных

REST с его классическим request-response — это всегда ожидание полного ответа. С генеративными моделями и RAG это приводит к задержкам, которые пользователь воспринимает как лаги или “зависание”. Особенно если генерация идёт долго — 3, 5, 10+ секунд.

Можно, конечно, сделать polling — посылать запросы, чтобы получить новые части данных. Но это неэффективно и создаёт лишнюю нагрузку на сеть и сервер. Ещё хуже — UI будет обновляться рывками, а не плавно, что убивает vibe.

Вот тут на помощь приходят стриминговые протоколы — websocket или SSE (Server-Sent Events). SSE проще реализовать, особенно если сервер уже поддерживает HTTP/1.1 и отдаёт chunked-ответ. Flutter умеет слушать такие потоки, но стандартный http.post не даст доступа к частям ответа — он ждёт полного тела.


Dart SSE Stream Client: читаем поток из http.Request

Вместо http.post нужно использовать http.Client и метод send, который возвращает http.StreamedResponse. Он позволяет читать ответ по кускам — byte chunks, которые мы декодируем и парсим в JSON.

Вот упрощённый пример на Dart, который я адаптировал из реального кода:

import 'dart:convert';
import 'package:http/http.dart' as http;

class RagStreamService {
  final http.Client _client = http.Client();

  Stream<String> streamQuery(String query) async* {
    final uri = Uri.parse('https://api.example.com/v1/rag/stream');
    final request = http.Request('POST', uri);
    request.headers['Content-Type'] = 'application/json';
    request.body = jsonEncode({'query': query});

    final response = await _client.send(request);

    if (response.statusCode != 200) {
      throw Exception('Failed to connect to RAG stream: ${response.statusCode}');
    }

    await for (final chunk in response.stream
        .transform(utf8.decoder)
        .transform(const LineSplitter())) {
      if (chunk.startsWith('data: ')) {
        final data = chunk.substring(6).trim();
        if (data == '[DONE]') break;

        final decoded = jsonDecode(data) as Map<String, dynamic>;
        final token = decoded['token'] as String?;
        if (token != null) {
          yield token;
        }
      }
    }
  }

  void dispose() {
    _client.close();
  }
}

Обратите внимание, что мы используем await for для асинхронного перебора строкового потока. Каждая строка приходит с префиксом data: — это стандарт SSE. Когда сервер отправляет [DONE], мы закрываем стрим.


Как прокачать UI: эффективное обновление по токенам

Главная боль: если каждый токен вызывает setState во всём экране, мы получим лишние перерисовки и лаги. Чтобы держать UI отзывчивым, нужно изолировать обновления.

В моей практике хорошо работает такой паттерн:

Пример упрощённого виджета:

class StreamingAnswerCard extends StatefulWidget {
  final Stream<String> tokenStream;

  const StreamingAnswerCard({required this.tokenStream, Key? key}) : super(key: key);

  @override
  _StreamingAnswerCardState createState() => _StreamingAnswerCardState();
}

class _StreamingAnswerCardState extends State<StreamingAnswerCard> {
  final StringBuffer _buffer = StringBuffer();

  @override
  Widget build(BuildContext context) {
    return StreamBuilder<String>(
      stream: widget.tokenStream,
      builder: (context, snapshot) {
        if (snapshot.hasData) {
          _buffer.write(snapshot.data);
        }

        return Container(
          padding: EdgeInsets.all(16),
          decoration: BoxDecoration(
            color: Colors.grey[900],
            borderRadius: BorderRadius.circular(8),
          ),
          child: Text(
            _buffer.toString(),
            style: TextStyle(color: Colors.white, fontSize: 16),
          ),
        );
      },
    );
  }
}

Так мы обновляем только маленькую часть — текст внутри карточки — а не всю страницу. Если нужно — можно ещё оптимизировать с помощью ValueNotifier или ChangeNotifier, но StreamBuilder часто хватает.


Важные детали: latency, статус и управление ресурсами


Кому пригодится такой подход

Если вы разрабатываете мобильное приложение с AI-интеграцией, где важен UX генерации текста — например, чат с LLM, ассистент или поиск с дополнением через RAG — то стриминг через SSE в Flutter сильно улучшит впечатление.

Минусы:

Если хотите поглубже — изучите MCP (Multi-Channel Protocol) и RAG+agentic workflows, чтобы понять, как можно параллельно стримить не только текст, но и статусы, подсказки и дополнительные данные.


В итоге, стриминг RAG в Flutter через SSE — это прямой путь к плавному AI UX без лишних задержек. Главное — правильно читать поток, аккуратно обновлять UI и контролировать ресурсы. Если сейчас вы мучаетесь с REST и устаревшими подходами, попробуйте этот паттерн — он реально работает и сильно экономит нервы пользователей.


Источник: https://dev.to/ayush_raina_50d571bb314d9/implementing-streaming-rag-responses-in-flutter-with-server-sent-events-sse-562f