Что такое токены?

Токены - это части текста, на которые нейросеть разбивает входные данные. Токенами могут быть слова, буквы или символы, в зависимости от модели. Это важно по нескольким причинам:

1. Эффективность обработки. Токены помогают модели легче и быстрее обрабатывать текст, разбивая его на удобные части. Так модель лучше понимает, что от нее нужно.
2. Обучение модели. Модель учится предсказывать следующий токен в тексте на основе предыдущих. Это позволяет ей со временем лучше понимать текст и давать более точные ответы.
3. Качество генерации текста. Чем лучше модель разбирается в токенах и их взаимосвязях, тем качественнее и связнее текст она сможет создавать.

Важно помнить, что нейросети имеют ограничение на количество токенов, которые могут быть обработаны за один раз. Это ограничение зависит от конкретной модели.

Что такое контекстное окно?

Контекстнов окно - это то что модель использует для ввода промпта И вывода (сгенерированного текста). Модель обычно имеют ограничение, выраженное в токенах, относительно размера контекстного окна. Как правило, чем больше контекстное окно, тем лучше, поскольку модель может обрабатывать больше «контекста» о работе, которую он пытается выполнить.