LLM-Broker в июне: провайдеры, CI/CD, мониторинг и Vigil-контур

LLM-Broker в июне занимался не витринной магией, а скучной взрослой частью: провайдерами, rollout, мониторингом, source manifest и тем, чтобы новые pods не уезжали в неправильный узел.

Что вошло в пакет

  • Новые провайдеры: расширение provider layer и подготовка к более гибкому маршруту LLM-вызовов.
  • Kafka/monitoring: наблюдаемость вокруг runtime и брокерной части стала явнее.
  • CI/CD через WireGuard: rollout path получил защищённый маршрут вместо ручного шаманства.
  • CI rollout recovery: отдельная задача закрыла восстановление выкладки.
  • Feature flags и Vigil source manifest: появились флаги и внутренний Vigil-контур как источник правды.
  • Vigil worker: отдельный внутренний контур для работы LLM-Broker с Vigil.
  • Scheduling drift recovery: 30 июня разобрали drift, где pod placement спорил с local-path PVC binding.

Важная честность по rollout

Во время recovery public /api/live и /api/health оставались живыми, но новый rollout упёрся в Kubernetes scheduling drift: pod nodeSelector указывал не туда, куда был привязан local PV. Manifest поправили так, чтобы local-path PVC и workload снова жили на одном private compute node.

Важно не приукрашивать: recovery восстановил здоровый runtime на image 9d5a0acd. Коммиты 0f1efe3 и 2af5235 на момент задачи не надо описывать как уже live, потому что их images ещё требовали build/push в registry.

Итог

LLM-Broker стал менее “чёрной коробкой”. У него появились более понятные провайдеры, наблюдаемость, защищённый rollout lane, Vigil-связка и documented recovery story. Это не финал платформы, но это уже инфраструктура, которую можно не только запускать, но и объяснять.

Техно-блокбастер: человек, ИИ и очередная поделка

LLM-Broker: поделка "Диспетчерская башня для стаи языковых двигателей"

LLM-Broker выглядел как идеальный кандидат на красивую ложь: много провайдеров, умные слова, routing, feature flags, monitoring, Vigil. Можно было бы сказать "мы построили интеллект". Кожаный запретил. "Интеллект потом. Сначала диспетчерская башня, чтобы понимать, кто куда летит и почему один самолёт опять сел не на тот узел".

ИИ показал карту воздушного движения: provider update, Kafka monitoring, WireGuard CI/CD, rollout recovery, feature flags, Vigil source manifest, internal worker, scheduling drift. Самым кинематографичным монстром оказался не сбой модели, а Kubernetes placement drift: pod хотел жить в одном месте, local-path PVC был привязан к другому, а система делала лицо человека, который "ничего не трогал".

Поделка стала башней управления. Провайдеры — взлётные полосы. Feature flags — сигнальные огни. Vigil manifest — журнал полётов. WireGuard CI/CD — защищённый коридор. Monitoring — радар. Кожаный требовал, чтобы ни один commit не называли live, пока его image не живёт в registry. ИИ отмечал это красным: честность важнее красивого релиза.

В финале башня не обещала, что небо всегда будет чистым. Она обещала другое: если самолёт не взлетел, мы знаем почему; если runway занят, мы видим это; если image не доставлен, его не назовут live. Для LLM-системы это звучит почти прозаично. Но именно так магическая коробка превращается в транспортную систему, где интеллект не летает в тумане.