Как научить Gemini CLI расшифровывать аудио и видео?

Добавьте MCP-сервер KolWrite одной командой gemini mcp add. После этого Gemini CLI сможет расшифровывать локальные записи в текст, субтитры SRT или переводы. Оплата посекундная, с ваших кредитов KolWrite.

Получить ключ API Быстрый старт Поддерживаемые языки

Обновлено: · Markdown

Что нужно сделать один раз

Создайте аккаунт и ключ сами на console.kolwrite.com: зарегистрируйтесь, пополните кредиты, откройте API Keys и создайте ключ. Агент не может сделать это за вас.

Сохраните ключ в файле профиля вашего shell (~/.zshrc, ~/.bashrc), чтобы его могла прочитать любая сессия агента, и откройте новый терминал:

export KOLWRITE_API_KEY=...   # paste the key from API Keys

Инструменты читают ключ только из этой переменной. Не вставляйте его в чат и не коммитьте в репозиторий.

Добавьте MCP-сервер

Выполните команду там, где задана KOLWRITE_API_KEY. Флаг -s user делает сервер доступным во всех проектах:

gemini mcp add -s user -e KOLWRITE_API_KEY="$KOLWRITE_API_KEY" kolwrite npx -y https://console.kolwrite.com/mcp/kolwrite-mcp-0.1.0.tgz

Или добавьте его вручную в ~/.gemini/settings.json. Gemini CLI подставляет $KOLWRITE_API_KEY из вашего окружения:

{
  "mcpServers": {
    "kolwrite": {
      "command": "npx",
      "args": [
        "-y",
        "https://console.kolwrite.com/mcp/kolwrite-mcp-0.1.0.tgz"
      ],
      "env": {
        "KOLWRITE_API_KEY": "$KOLWRITE_API_KEY"
      }
    }
  }
}

Сервер даёт агенту шесть инструментов: transcribe_file, transcribe_url, upload_file, get_job, list_models, list_languages. Он работает на вашем компьютере с Node.js 18 или новее и скачивается с https://console.kolwrite.com/mcp/kolwrite-mcp-0.1.0.tgz (SHA-256 0dcd6ff169b860b9363044837b8545279efa585c4987b20d81035f920f6ac7ca).

Проверьте командой /mcp внутри Gemini CLI.

Добавьте правило в GEMINI.md

Чтобы Gemini CLI знал об API и тогда, когда пишет код, добавьте эту строку в GEMINI.md проекта:

For speech-to-text use the KolWrite API; read https://console.kolwrite.com/agent-instructions.md before writing code. The key is in KOLWRITE_API_KEY.

Примеры запросов

Три примера запросов к Gemini CLI:

Расшифруй ~/Downloads/interview.m4a через KolWrite и сохрани текст в interview.txt рядом с файлом.

Сделай английские субтитры SRT для talk.mp4 через KolWrite, по одному субтитру на предложение.

Кто что сказал в team-call.mp3? Расшифруй запись с разметкой спикеров на модели oracle, а затем перечисли задачи каждого участника.

Сколько это стоит

ЗадачаМодельСтоимость
Интервью на 30 минут, обычный текстbase0,24 $
Часовая встреча с разметкой спикеровoracle1,56 $
Часовой доклад на иврите с английскими субтитрамиoracle1,44 $
Час шумного аудио с перекрывающимися голосамиoracle_max3,60 $

Оплата идёт посекундно за длительность аудио и списывается с ваших кредитов, без минимального платежа. Разметка спикеров добавляет 0,10 кредита за час аудио. MCP-сервер и kolwrite.py используют base, если вы или агент не указали другую модель, а при переводе используют oracle_mini. Все тарифы: /ru/models.

Чего агент делать не должен

  • Просить у вас ключ в чате, выводить его или записывать в файл, команду или коммит.
  • Запускать ту же расшифровку заново после тайм-аута или сетевой ошибки. Каждый запуск создаёт новое задание, и оно оплачивается. Вместо этого нужно проверить уже созданное задание или спросить вас.
  • Вписывать временные метки самостоятельно. Чтобы вырезать или процитировать фрагмент по времени, он берёт номера сегментов из расшифровки и считает время в коде по временным меткам слов.
  • Отправлять в качестве медиа адрес видео на YouTube или другой веб-страницы. Нужен сам медиафайл.
  • Расшифровывать длинные записи (больше часа), не сообщив вам заранее ожидаемую стоимость.

Вопросы и ответы

Записывается ли ключ в settings.json?

При записи в виде $KOLWRITE_API_KEY нет: Gemini CLI берёт значение из вашего окружения при запуске сервера. А gemini mcp add -e сохраняет то значение, которое вы передали.