Лингвистика + статистика = NLP
Как-то так получилось, что я NLP-инженер, который закончил Московский государственный лингвистический университет. Мне нравится ковыряться в коде и мо…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
claude
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
tutorial
typescript
webdev
Dual Encoder vs Cross-Encoder: Why Your RAG Pipeline Needs Both
My RAG pipeline looked fine on paper. Fast retrieval. Decent cosine scores. But when I tested it with real queries, the top results were always a litt…
How I Built Semantic Discussion Clustering Without Embeddings (and Why It Was Good Enough)
The Problem I wanted to monitor discussions around products, bugs and trends across communities. Examples: Reddit Hacker News GitHub Issues Forums Mos…
I Built a Multilingual Spam Detection Dataset with 149K+ Messages Across 23 Languages
Spam detection datasets are surprisingly bad once you move outside English. Most public datasets are: tiny, outdated, English-only, SMS-only, or missi…
Современные морфоанализаторы русского языка: от словарей к нейросетям
В статье «Извлечение и обработка требований из документов с помощью NLP-инструментов » я уже показывал, как переход от LLM к NLP-библиотекам помогает …
Day 6 - Embedding - RAG
In the previous post, we saw what chunking is and the various methdologies of chunking. In this post, we are going to see the next stage of the RAG pi…
Ask.com закрылся. Что это был за сервис? Вспоминаем 90-е
На главной странице Ask.com недавно появилось короткое уведомление: сервис официально прекратил работу 1 мая 2026 года. Компания-владелец решила закры…
Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM
Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии. Если вам приходилось разбирать большие масс…
Как мы пытаемся снизить возвраты животных из приютов с помощью NLP
Четыре года я была волонтером в приюте. Самое тяжелое — видеть «вернувшихся» животных. Ещё вчера у них был дом, а сегодня снова клетка. В России 3,6 м…
Hybrid Search Blueprint Series: Semantic Boosting
This article was written by Erik Hatcher . This is the third and final article of this hybrid search series. First, we surveyed the (hybrid) search la…
Извлечение и обработка требований из документов с помощью NLP-инструментов
Приветствую всех читателей Хабр. Думаю, многим знаком этот сценарий: появляется задача — и первая мысль: «скормлю все LLM, она разберётся». Поначалу п…
Day 4 - Chunking continued - RAG
Semantic Chunking Lets Consider two paragraphs A and B, focussing on strings in python. para A focus on typecasting and para B focus on accessing char…
Generation 1 — Standalone Models (2018–2022)
The Foundation of Modern AI Systems When people think of tools like ChatGPT, they often assume the intelligence comes from a single powerful system th…
What Reddit Can Teach Us About Women’s Watch Preferences (Python + NLP Project)
Most “what watch should I buy?” discussions online skew heavily male. A friend wanted to launch a women’s watch, so I helped with a small data analysi…
How to Make xt850 Match xt 850
TL;DR Since version 23.0.0 , Manticore can make searches like xt850 match xt 850 using bigram_delimiter together with digit-aware bigram_index modes. …
Did My LoRA Learn Tenacious Style—or Just Memorize Augmented Patterns?
In Week 11 Tenacious-Bench, we trained a LoRA adapter on Tenacious-style B2B sales emails using Supervised Fine-Tuning (SFT). We got a real performanc…
Auto-Furigana in the Browser — Lazy-Loading kuromoji.js's 4 MB Dictionary from a CDN to Annotate Japanese Kanji With Their Readings
Furigana are the small hiragana annotations that sit above kanji to show how they should be read. Schoolbooks, kid manga, and language-learning materi…
Битва двух ёкодзун: почему детекторы ИИ и гуманизаторы делают тексты еще хуже
В век, когда абсолютно все площадки, включая Хабр, захлебываются под цунами сгенерированного контента, особенно ценными становятся статьи, написанные …
LLM Study Diary #2: Tokenization
Background I did some research online and found a nice course that teach how to build LLM from scratch. The course is shared public online and all the…
How to Add Sentiment Analysis to Any App in 5 Minutes (Free API)
Most text analysis solutions fall into one of two problems: Too expensive — OpenAI API costs money for every call Too complex — Hosting your own Huggi…
Part 2: Vector Embeddings in simplest terms
This is my Day 2 of learning AI fundamentals where I will be covering the following concepts: Vector Embeddings How Tokenisation and Vector Embeddings…