RU

От готовых реплик к контекстной памяти: как эволюционировали AI-чаты

В первой части статьи мы рассказывали об эволюции поисковых систем. Теперь перейдем к технологиям, благодаря которым AI-чаты получили свои нынешние…

чат-ботыбольшие языковые моделиNLPистория искусственного интеллектаELIZATransformerBERTChatGPTRAGRLHF
Habr
RU

Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация

На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему б…

LLMархитектура LLMинференс LLMускорение LLMоптимизация LLMTransformerFlashAttentionKV-cacheквантизация LLMMixture of Experts
Habr
RU

Я научил небольшой Transformer генерировать цифры одной нитью

Наверняка вы видели портреты, собранные из одной нити, натянутой между сотнями гвоздей. Я решил проверить: можно ли научить нейросеть генерировать н…

Transformerмашинное обучениеMNISTstring artобработка изображенийгенеративная модельautoregressive generationsequence modelingпроцедурная генерацияPython