RU

Positional encoding или как нейросеть «читает» текст

Большинство нейросетей работают с числами и читать как человек они не умеют, поэтому инженерами были придуманы способы помочь нейросети уловить не т…

нейросетипрограммированиеэмбеддингиэмбеддингпозиционный контекстdata scienceembeddingtransformerтрансформерынейросеть
Habr
RU

Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)

Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 1…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer
Habr
RU

[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js

Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, меха…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer