Open-Source GitHub исследование для present-room.ai-platform.space

Целевой путь финального отчёта: /Users/tsemakhold/home/serverflow/web/present-room.ai-platform.space/www/research/02_opensource_github.md

Я нахожусь в plan mode, поэтому не могу записать в /research/ напрямую. Содержимое ниже — полный финальный отчёт. После выхода из plan mode (или с разрешения пользователя) переношу 1-в-1 в целевой файл.

Дата: 2026-04-25. Стек: PHP 8.5 + jQuery 4 + MySQL 8.4. Self-hosted на VPS 8GB не пойдёт (нужен GPU 16-80GB) — все ML вызывается через managed GPU API (Replicate / Modal / RunPod / fal.ai) либо коммерческие API.

1. AI TALKING AVATARS (фото + аудио → говорящее лицо)

1.1 Топ open-source модели (по актуальности на апрель 2026)

1.2 Закрытые / proprietary (НЕ open)

1.3 Качество и характеристики

1.4 Managed API доступ

2. TEXT-TO-SPEECH (РУССКИЙ / УКРАИНСКИЙ) для риэлтора

2.1 Open-source движки

2.2 Лучший выбор для русского/украинского риэлтора

Победитель: GPT-SoVITS — 56k звёзд, активно развивается, нативно тренируется на 1 минуте речи, многоязычный (русский = первоклассный), коммерческая лицензия MIT.

Второй вариант: Silero TTS — если voice cloning не нужен (готовые голоса). Работает на CPU, бесплатно, нативная поддержка русского и украинского.

Третий вариант: F5-TTS — самый быстрый рост (14k звёзд за полгода), хорошее качество zero-shot.

2.3 Managed API цены

3. IMAGE-TO-VIDEO / CAMERA MOTION (для движения по фото квартиры)

3.1 Open-source модели

3.2 Closed (закрытые)

• LumaLabs Dream Machine / Ray2 — closed, API $$$
• Runway Gen-3 / Gen-4 — closed, $0.05-0.10/сек видео
• Sora 2 / Sora Turbo — closed (OpenAI), API в pro plan
• Kling AI 2.x — closed (китайский), free tier есть
• Hailuo / MiniMax video — closed, дешёвые тарифы
• Pika 2.0 — closed
• Wan 2.1 / Wan 2.2 (Alibaba) — открыли веса, но репозиторий перемещался; искать Wan-Video/Wan2.1 и alibaba-wan на HF

3.3 Что лучше для real estate (квартирные фото → видео-обзор)

Для движения камеры по статичной квартире нужны:

1. Image-to-Video с camera control — задать траекторию ("orbit", "pan-left", "zoom-in", "dolly-forward")
2. Длительность 5-10 секунд на фото
3. Реалистичность интерьера (не cartoon)

Топ-3 кандидата:

Для нашего кейса (real estate): LTX-Video (скорость+цена) для MVP, Wan 2.2 I2V для качества (оба открытых).

3.4 Альтернатива: классический Ken Burns / 3D-параллакс

Для статичных квартир гораздо дешевле не использовать GenAI, а:

• peterson-ken-burns-effect (Python/FFmpeg) — pan/zoom за копейки
• 3D-Photo-Inpainting (Facebook Research) — стерео из 1 фото + параллакс камеры
• Gaussian Splatting из 5-10 фото квартиры → реальный 3D walkthrough

4. AI VIDEO PIPELINE / ORCHESTRATION

ComfyUI workflows для real estate / talking avatar:

• kijai/ComfyUI-LivePortraitKJ (2.2k) — продвинутый LivePortrait
• kijai/ComfyUI-CogVideoXWrapper (1.5k) — CogVideoX
• kijai/ComfyUI-HunyuanVideoWrapper (2.6k) — HunyuanVideo
• Lightricks/ComfyUI-LTXVideo (3.5k) — LTX
• chaojie/ComfyUI-MuseTalk (0.3k) — MuseTalk
• ShmuelRonen/ComfyUI-LatentSyncWrapper (0.9k) — LatentSync
• smthemex/ComfyUI_EchoMimic (0.7k) — EchoMimic
• sieve-community/sievesync (0.05k) — pipeline MuseTalk + LivePortrait + CodeFormer

5. PHP-FRIENDLY AI VIDEO API (что легко вызвать из PHP)

Все ниже — REST API. PHP 8.5 + curl + наш BaseApiClient (скилл api-integrator).

5.1 Managed GPU платформы

5.2 Готовые avatar/video API (closed source)

6. REAL ESTATE SPECIFIC

6.1 Open-source

• graphdeco-inria/gaussian-splatting (21.5k, ★★★★★) — оригинал 3DGS. Из 30-50 фото квартиры → интерактивный 3D-walkthrough в браузере (через playcanvas/supersplat 4.6k или Three.js)
• nerfstudio-project/gsplat (4.9k) — CUDA rasterization
• dreamgaussian/dreamgaussian (4.3k) — генеративный 3D из 1 фото за минуты
• playcanvas/supersplat (4.6k, MIT) — браузерный редактор 3DGS

6.2 Closed/SaaS для real estate

• Polycam / Luma Genie — фото → 3D walkthrough
• Matterport — стандарт индустрии, $15-309/мес
• Reonomy / VirtualStagingAI / ApplyDesign — virtual staging $0.99-29/комната
• Image enhancement: REAL-ESRGAN (xinntao/Real-ESRGAN), GFPGAN, CodeFormer для улучшения квартирных фото перед видео-генерацией

6.3 Floor plan generators

• shmuelzon/home-assistant-floor-plan (1.0k) — генератор floor plan для Home Assistant
• m-agour/Plannify — residential floor plan
• z-aqib/Floor-Plan-Generator-Using-AI — CSP-based AI

(специально для real estate видео-обзоров готовых open-source платформ НЕ найдено)

7. ЧТО ПОЯВИЛОСЬ В 2025-2026 (важное)

1. EchoMimic v3 (Ant Group, AAAI 2026) — 1.3B параметров, multi-modal multi-task
2. HunyuanVideo-Avatar (Tencent) — авторские аватары на базе видео-foundation модели
3. OmniHuman-1 (ByteDance, февраль 2025) — закрытый, но самый впечатляющий по демо. Доступен через Dreamina/Jimeng
4. LatentSync (ByteDance) — стандарт lipsync 2025-2026 (заменяет Wav2Lip для коммерции)
5. LTX-Video / LTX-2 (Lightricks) — real-time видео на consumer GPU. Лучшее соотношение цена/скорость
6. HunyuanVideo 1.5 — лёгкий вариант (декабрь 2025)
7. Wan 2.2 (Alibaba) — открытые веса видео-модели, конкурент Sora
8. GPT-SoVITS v2 — нативно русский с few-shot
9. F5-TTS — flow matching, быстро и качественно
10. SkyReels-V2/V3 (Skywork) — infinite длина, multimodal
11. Sora 2 (OpenAI) — closed, но API доступно

8. РЕКОМЕНДУЕМЫЙ ТЕХНИЧЕСКИЙ СТЕК

8.1 Лучшая комбинация для MVP (быстро, дёшево, хорошо)

Цель: запустить за 1-2 недели, тестировать гипотезу.

┌─────────────────────────────────────────────────────────┐
│ MVP STACK (через managed API, никакого self-hosting)    │
├─────────────────────────────────────────────────────────┤
│ 1. Текст обзора (LLM)                                   │
│    Claude API Platform (наш прокси): claude-haiku-4-5  │
│    ~$0.001-0.005 на скрипт обзора                       │
│                                                         │
│ 2. TTS (озвучка риэлтора)                               │
│    Replicate XTTS-v2 или fal.ai F5-TTS                  │
│    ~$0.05-0.15 на 60 сек аудио                          │
│    (готовый голос риэлтора через voice cloning)         │
│                                                         │
│ 3. Talking head (фото риэлтора + аудио)                 │
│    Replicate SadTalker или fal.ai LivePortrait          │
│    ~$0.03-0.10 на видео-сегмент 5-10 сек                │
│                                                         │
│ 4. Камера-движение по квартирным фото                   │
│    Replicate LTX-Video I2V                              │
│    ~$0.05-0.10 на 5 сек видео                           │
│    Альтернатива: Ken Burns FFmpeg ~$0 (просто pan/zoom) │
│                                                         │
│ 5. Сборка видео                                         │
│    FFmpeg на VPS 173.242.56.80 (бесплатно)              │
│    Layout: talking head в углу + B-roll квартиры        │
└─────────────────────────────────────────────────────────┘

Cost per 60-sec video (MVP):

• LLM скрипт: $0.005
• TTS: $0.10
• Talking head: 6 сегментов × $0.05 = $0.30
• Камера-движение: 6 фото × $0.05 = $0.30
• FFmpeg сборка: $0
• ИТОГО: ~$0.71 за 1 минутное видео

8.2 Production stack (качество + масштабируемость)

┌─────────────────────────────────────────────────────────┐
│ PRODUCTION STACK                                        │
├─────────────────────────────────────────────────────────┤
│ 1. LLM: Claude Sonnet 4.7 (через прокси) — лучше скрипт │
│ 2. TTS: ElevenLabs Pro (RU/UK топ + voice cloning)      │
│    ИЛИ Yandex SpeechKit (RU нативный)                   │
│ 3. Talking head: HeyGen Avatar IV API ИЛИ Hedra API     │
│ 4. Камера: Wan 2.2 I2V (Replicate) или Sora 2 API       │
│ 5. Enhancement: Topaz Video AI / Real-ESRGAN на VPS     │
│ 6. Очередь: MySQL + cron worker на VPS (паттерн         │
│    pattern-frame queue, dead-letter)                    │
│ 7. Хранилище видео: CDN serflow.cdn.express             │
│ 8. Мониторинг: observability + Mercure для real-time    │
│    progress в SPA                                       │
└─────────────────────────────────────────────────────────┘

Cost per 60-sec video (Production):

• LLM: $0.03
• ElevenLabs TTS: 1500 chars × $0.18/1k = $0.27
• HeyGen avatar 60 сек: $1.00-2.00
• Wan I2V (6 фото): 6 × $0.15 = $0.90
• ИТОГО: ~$2.20-3.20 за 1 минутное видео

8.3 Бюджетный вариант (китайские/корейские API)

┌─────────────────────────────────────────────────────────┐
│ BUDGET STACK (китайская экосистема)                     │
├─────────────────────────────────────────────────────────┤
│ 1. LLM: DeepSeek V3 (~$0.27/1M tokens)                  │
│ 2. TTS: ByteDance Volcengine TTS / MiniMax T2A          │
│    (~$0.03-0.10 на минуту)                              │
│ 3. Talking head: MiniMax Hailuo или Vidu API            │
│    (~$0.10-0.30 на видео)                               │
│ 4. Камера: Kling AI API ($0.05/сек) или Hailuo ($0.03) │
│ 5. Voice cloning: GPT-SoVITS на RunPod Serverless       │
│    ($0.0006/сек H100, ~$0.50/час)                       │
└─────────────────────────────────────────────────────────┘

Cost per 60-sec video (Budget):

• LLM: $0.005
• TTS: $0.05
• Talking head: $0.30
• Камера: 60 сек × $0.03 = $1.80
• ИТОГО: ~$2.15 (но в RU/UK хуже, нужны тесты)

8.4 Премиум стек

┌─────────────────────────────────────────────────────────┐
│ PREMIUM STACK (максимальное качество)                   │
├─────────────────────────────────────────────────────────┤
│ 1. LLM: Claude Opus 4.7 + Extended Thinking             │
│ 2. TTS: ElevenLabs Professional Voice Clone (PVC)       │
│    ($1100 setup, потом $0.18/1k chars + 95% similarity) │
│ 3. Talking head: HeyGen Avatar IV (full body)           │
│    ИЛИ Hedra Character-3                                │
│ 4. Камера: Sora 2 Pro API + Runway Gen-4 (A/B)          │
│ 5. Upscale: Topaz Video AI (4K)                         │
│ 6. Enhancement: GFPGAN + Real-ESRGAN                    │
└─────────────────────────────────────────────────────────┘

Cost per 60-sec video (Premium):

• LLM: $0.10
• ElevenLabs PVC: $0.27
• HeyGen Avatar IV: $3-5
• Sora 2 видео: 60 сек × $0.30 = $18
• Upscale Topaz: $0.50
• ИТОГО: ~$22-25 за 1 минутное видео

8.5 Self-hosted вариант (через GPU cloud, не наш VPS 8GB)

Наш VPS 173.242.56.80 (4 CPU, 8GB RAM, 0 GPU) НЕ потянет ML. Все модели требуют 16-80 GB VRAM.

Вариант: orchestration на VPS, inference на RunPod Serverless / Modal.

┌─────────────────────────────────────────────────────────┐
│ SELF-HOSTED НА RUNPOD SERVERLESS                        │
├─────────────────────────────────────────────────────────┤
│ Templates на RunPod (H100 spot $1.99/hr):               │
│  - SadTalker / LivePortrait template                    │
│  - GPT-SoVITS template                                  │
│  - LTX-Video template                                   │
│  - ComfyUI с workflows                                  │
│                                                         │
│ Идея: PHP на VPS пушит job в Redis/MySQL, RunPod worker │
│ забирает, генерит, кладёт результат на CDN, шлёт        │
│ webhook обратно на VPS, Mercure пушит progress в SPA.  │
└─────────────────────────────────────────────────────────┘

Cost при self-hosted на RunPod (60-sec video, пока worker prewarmed):

• LTX-Video 6 сегментов: 6 × 30 сек × $1.99/3600 = $0.10
• GPT-SoVITS 60 сек: 30 сек GPU × $1.99/3600 = $0.017
• LivePortrait 60 сек: 6 × 5 сек × $1.99/3600 = $0.017
• ИТОГО: ~$0.13 (но без cold starts, queue, надёжности — это голая GPU цена)

Реалистично с overhead (cold starts + retry + storage): ~$0.50-1.00 за минуту видео

8.6 Итоговая таблица сравнения

9. КЛЮЧЕВЫЕ ССЫЛКИ И ИСТОЧНИКИ

Awesome lists

• MrNeRF/awesome-3D-gaussian-splatting (8.5k) — 3DGS
• xlite-dev/Awesome-DiT-Inference (0.5k) — оптимизация diffusion
• hua1995116/awesome-ai-painting (11.7k) — общий AI art

Reddit / HN

• r/StableDiffusion — обсуждения lipsync моделей
• r/LocalLLaMA — TTS/voice cloning
• HackerNews "Show HN" по SadTalker/LivePortrait

Web research (апрель 2026)

• pixazo.ai/blog/best-open-source-lip-sync-models — топ-8 lipsync моделей
• lipsync.com/blog/open-source-lip-sync — Wav2Lip vs MuseTalk
• aifreeforever.com/blog/lip-sync-ai — 21 инструмент
• bentoml.com/blog/exploring-the-world-of-open-source-text-to-speech-models — TTS обзор
• huggingface.co/blog/norwooodsystems/multilingual-voice-cloning-with-xtts-v2 — XTTS multilingual
• designrevision.com/blog/heygen-alternatives — HeyGen альтернативы

10. РЕКОМЕНДАЦИЯ ДЛЯ present-room.ai-platform.space

Делать MVP на Replicate / fal.ai с первого дня:

1. Скрипт обзора → Claude Haiku 4.5 (через наш прокси)
2. Голос риэлтора → клонируем 1 раз через Replicate F5-TTS (или ElevenLabs если нужен топ для RU/UK)
3. Видео риэлтора → Replicate SadTalker (быстро, $0.05/run) ИЛИ Hedra Character-3 API (топ качество, $0.20-0.50)
4. Видео квартиры → Replicate LTX-Video I2V для движения камеры по фото ($0.05/run)
5. Сборка → FFmpeg на VPS

Почему не self-hosted: нет GPU на VPS. Покупка/аренда GPU = $200+/мес фикс. Replicate платится только при генерации = пропорционально клиентам.

Когда переключаться на RunPod self-hosted: при объёме 500+ видео/день (тогда фикс GPU дешевле per-call API).

Архитектура PHP:

• pattern-frame queue для задач (MySQL job table + cron worker)
• pattern-frame mercure-realtime для прогресса в кабинете
• BaseApiClient (скилл api-integrator) для каждого API провайдера
• Dead-letter queue для retry (правило #30)
• CDN serflow.cdn.express для готовых видео

Sources (web research)

• 8 Best Open Source Lip-Sync Models in 2026
• 21 Best AI Tools for Lipsync in 2026
• 5 Best Open-Source Lip Sync Tools 2026
• Coqui TTS: Free Voice Cloning XTTS v2 2026
• Best Open-Source TTS in 2026
• The Best Open-Source Text-to-Speech Models in 2026
• XTTS v2 Multilingual Voice Cloning Guide
• 7 Best HeyGen Alternatives 2026
• 10 Best HeyGen Alternatives for AI Avatar Video 2026
• RunPod vs Modal vs Replicate Comparison 2026
• Top Serverless GPU Clouds 2026