Искусственный интеллект
Основы ИИ 2: промпт, токен, контекстное окно, API — как программа говорит с моделью
Содержание
Когда компания «подключает ИИ», она покупает не модель, а разговор с ней: что программа кладёт модели на вход, в каких единицах это считается и где проходит граница того, что модель вообще способна увидеть. Эти четыре слова — промпт, токен, контекстное окно и API — объясняют, из чего складывается счёт за ИИ и почему два проекта на одной и той же модели могут стоить по-разному. Это второй материал серии «Основы ИИ»; полный словарь из двадцати терминов — в статье-якоре.
Промпт: из чего состоит вход модели
Промпт prompt
Всё, что модель получает на вход за один запрос. В прикладной системе это не одна фраза пользователя, а три слоя: инструкции разработчика (кто модель, что ей можно и что нельзя), данные для ответа (фрагменты документов, карточка клиента, история диалога) и сам вопрос. Пользователь видит только третий слой.
Отсюда главное следствие для руководителя: когда подрядчик говорит «настроим ИИ под вас», в большинстве случаев он имеет в виду работу над первыми двумя слоями — инструкциями и тем, какие данные подкладывать к вопросу. Модель при этом не меняется. Это дешевле и предсказуемее дообучения, но требует ровно того же, что любое техническое задание: сформулировать, что считается правильным ответом, и на чём это проверять.
В нашем чат-боте на сайте инструкции описывают, о чём бот говорит и о чём отказывается, как оформляет заявку и какие данные не собирает. Эти инструкции — часть кода и проходят тот же путь, что и любая правка: проверка, тесты, выкат.
Токен: единица, в которой считают всё
Токен token
Единица, на которые модель режет текст перед обработкой. Для английского один токен — примерно три четверти слова; для русского слова делятся на большее число токенов, поэтому тот же текст по-русски обходится дороже. В токенах измеряется объём входа, объём ответа и оплата.
Счёт за модель складывается из двух частей: входные токены (всё, что в промпте) и выходные (ответ). Выходные обычно дороже, но входных в прикладной системе на порядок больше — потому что к каждому вопросу подкладываются инструкции и данные. Если в промпт каждый раз попадает одна и та же длинная инструкция, у большинства производителей моделей её можно закешировать и платить за повтор меньше; это инженерное решение, которое стоит спросить у подрядчика прямо.
Из практики: в нашем чат-боте расход токенов учитывается на каждого посетителя отдельно, с лимитом на посетителя и отдельным потолком на сетевой адрес. Без этого один скрипт, который ночью задаёт боту тысячи вопросов, расходует месячный бюджет к утру, а узнаёт об этом бухгалтерия.
Контекстное окно: что модель видит, а чего не существует
Контекстное окно context window
Максимальный объём токенов, который модель принимает за один запрос, — инструкции, данные, история диалога и вопрос вместе. Всё, что в окно не поместилось, для модели не существует: она не «помнит» прошлые разговоры и не «знает» документы, которые ей не показали в этом же запросе.
Размер окна у современных моделей велик, и соблазн «положить туда всё» понятен. Он упирается в два ограничения. Первое — стоимость: каждый токен в окне оплачивается при каждом запросе. Второе — точность: чем больше в окне постороннего, тем чаще модель отвечает по лишнему, а не по нужному. Поэтому главный инженерный вопрос любого проекта — не «сколько влезает», а «что именно положить». Ответ на него называется поиском по базе знаний (RAG), и о нём — следующий материал серии.
В нашем боте в окно попадают не документы целиком, а несколько фрагментов заметок компании, найденных по вопросу, плюс короткая история текущего диалога. Это держит стоимость запроса в предсказуемых границах и не даёт боту отвечать по случайным страницам.
API и чат-бот: одна модель, разные роли
API application programming interface
Программный интерфейс, через который ваша система вызывает модель: отправляет промпт, получает ответ. Модель в чате на сайте производителя и модель по API — одна и та же; разница в том, кто собирает промпт и что делает с ответом: человек руками или ваша программа по правилам.
Чат-бот chatbot
Интерфейс, в котором модель отвечает на сообщения. Сам по себе он ничего не делает в ваших системах — не создаёт сделку, не проверяет контрагента. Для этого модели нужны инструменты, и это уже другой уровень доверия: кто подтверждает действие.
Разница между «мы пользуемся ChatGPT» и «у нас внедрён ИИ» проходит ровно здесь. В первом случае промпт собирает сотрудник и сам решает, что делать с ответом. Во втором промпт собирает программа по заданным правилам, ответ проверяется и либо показывается клиенту, либо превращается в запись в учётной системе. Вся ответственность за результат — в этих правилах, а не в модели.
Для руководителя: что спросить у подрядчика
Четыре вопроса, ответы на которые показывают, понимает ли исполнитель, за что вы будете платить. Что именно попадает в промпт при каждом запросе и сколько это токенов. Как считается расход — на пользователя, на отдел, на систему — и где стоит потолок. Что кладётся в контекстное окно и по какому правилу отбирается. И что модель делает с ответом: показывает, записывает или только предлагает.
Если на эти вопросы отвечают цифрами и правилами — перед вами система. Если словами «модель сама разберётся» — перед вами чат с красивой кнопкой.
Серия «Основы ИИ», материал 2 из 8. По мотивам словаря «40 AI terms» (LinkedIn, октябрь 2026); определения и примеры — наши.
Нужна помощь с такой задачей?