RU

Почему токенайзер реж ет сло ва не там где нужно

Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому яз…

токенизациятокенизаторBPEbyte pair encodingLLMязыковые моделиэмбеддингиконтекстное окнопромпт-инжинирингselectel