RU

Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)

Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 1…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer
Habr
RU

[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js

Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, меха…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer
Habr
RU

Архитектура высокоэффективных нейросетевых вычислений на C++ для прогнозирования динамики ВВП

Принято считать, что для анализа макроэкономики и прогнозирования ВВП необходимы мощные серверы. Обычно разработчики используют Python и тяжелые биб…

c++20nvidia cudaнейронные сетиэкономикаоптимизация кодаbackpropagationмакроэкономикафинансы
Habr
RU

Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь

Вы когда-нибудь задумывались о том, что принципиально отличает настоящую нервную систему от ее искусственных аналогов? Почему масштабирование модели…

нейроныdeeplearningpruningгиперсвязностьматематика для data scienceграф вычисленийобратное распространениеbackpropagationpythonпрограммирование
Habr
RU

Обратное распространение ошибки: от интуиции до кода

Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов ве…

машинное обучениенейросетиbackpropagationобратное распространение ошибкиградиентный спускdeep learningpythonматематикавычислительные графыmicrograd