RU

Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)

Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 1…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer
Habr
RU

[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js

Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, меха…

machinelearningmachine learningbackpropagationself-attentionautogradnodejsjavascriptsftнейронная сетьtransformer
Habr
RU

Python: как один из самых медленных языков стал королем нейросетей

Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а не…

PythonCPythonмашинное обучениенейросетиPyTorchTensorFlowc++CUDAautograddeep learning
Habr
RU

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малым…

autogradматематиканестандартный анализдуальные числаpytorchградиентыбесконечно малыедифференцированиеpythonмашинное обучение