RU

meta-attention is all you need

В этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать "мета-трансформерами". Или я н…

llmtransformers
Habr
RU

Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine

Поговорим о том, как превращать последовательности пользовательских событий в векторы, зачем обучать BERT на "языке" клиентского поведения и почему em…

машинное обучениеанализ данныхbertdeep learningmachine learningembeddingstransformers
Habr
RU

Метрика EICS — ищем у трансформера причинное место

У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» пр…

uncertainty estimationtransformerssheaf theorycausal emergence theoryinformation theorymechanistic interpretabilityllm