Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers
Операционная «Ghetto MLOps»: пересадка 31B-мозга Gemma в MoE-экзоскелет DeepSeek. Без наркоза и дообучения. Читать далее
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
aws
beginners
career
claude
cybersecurity
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
security
showdev
tutorial
typescript
webdev
Chapter 8: RMS Normalisation and Residual Connections
What You'll Build Two architectural patterns that make deep networks trainable: RMSNorm (keeps activations from exploding or vanishing) and residual c…
Как я создал альтернативу трансформерам
В этой статье я хочу остановиться на разборе предложенной мной архитектуры декодера и тех вариантов, с которыми я сравниваю её в исследовании, но сдел…
Chapter 7: The Training Loop and Adam Optimiser
What You'll Build A complete training loop that processes documents, computes loss, backpropagates gradients, and updates parameters using the Adam op…
Chapter 6: Embeddings, the Forward Pass, and the Loss Function
What You'll Build Embedding tables that give each token and each position a learned vector, a minimal forward pass that produces logits, and the loss …
Without google's transformers, there is no GPT-ishs
Yes, remember back there in 2020/2021 when OpenAI created the gpt2? How about we really focus on what enable them to do that? google transformers. The…
Chapter 5: Linear Transformation and Softmax
What You'll Build Two helper functions that show up in nearly every layer of a neural network: Linear takes an input vector and a weight matrix, multi…
Chapter 4: The Bigram Model - Simplest Possible Language Model
What You'll Build A character-level language model that predicts the next character based only on the current character. No neural network, no gradien…
AutoML для NLU без ручной настройки: делимся библиотекой OpenAutoNLU
Большинство существующих AutoML-библиотек либо не поддерживают обучение моделей для понимания естественного языка (Natural Language Understanding, или…
AutoML для NLU без ручной настройки: делимся библиотекой OpenAutoNLU
Большинство существующих AutoML-библиотек либо не поддерживают обучение моделей для понимания естественного языка (Natural Language Understanding, или…
Chapter 3: The Tokenizer - Text to Numbers and Back
What You'll Build A Tokenizer class that converts between characters and integer IDs, plus a special BOS (Beginning of Sequence) token. Depends On Not…