Tokenization under the hood: BPE, WordPiece, SentencePiece, and Unigram compared
Tokenization under the hood: BPE, WordPiece, SentencePiece, and Unigram compared You deploy a chatbot. English queries average 42 tokens each. Then a …
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
aws
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
tutorial
typescript
webdev
Samiksha AI: Universal Review & comment Analyzer
Hey DEV Community! I recently participated in a hackathon and built Samiksha AI , a universal review and comment analyzer designed to turn messy custo…
Translating 'I missed you' so it doesn't land like a form letter
I was trying to tell someone something real in her first language — not "I missed you" from a dropdown, but the version that sounds like a person said…
Is Siri AI? How Apple's Voice Assistant Really Works
Apple finally gave Siri the kind of upgrade people have been asking for, on and off, for years. The new Siri AI is not just better speech recognition …
The hard part of an AI quiz generator isn't the questions — it's the wrong answers
If you wire an LLM up to "write me 10 multiple-choice questions about photosynthesis," you'll get something that looks great in the demo and falls apa…
CareerPilot AI:AI Resume Analyzer
In the modern job market, hiring managers and talent acquisition teams face an overwhelming influx of job applications. For a single opening, hundreds…
Can LLMs save themselves from verbosity?
« Je n'ai fait celle-ci plus longue que parce que je n'ai pas eu le loisir de la faire plus courte. » — Blaise Pascal, Lettres provinciales , Lettre X…
Питон по Пассову: как NLP помог сделать Python понятным гуманитариям
О том, почему вводный курс Python для гуманитариев лучше начинать не с калькуляторов и абстрактных циклов, а с текста, частотности и осмысленных иссле…
I Built the Resume-vs-JD Scorer Every ATS Uses — In 30 Lines of JavaScript
🌐 Live demo: https://dev48v.infy.uk/solve/day1-resume-jd-match.html Day 1 of SolveFromZero — pick a real hackathon problem, ship the working solution.…
Understanding Attention in Transformers — Intuition Before Equations
When people first hear about Transformers, they often encounter words like Query, Key, Value, and Attention Heads and feel confused. But the main idea…
The Context Compression Pattern
Pattern Defined Precise Definition: Context Compression is an inference pattern that utilizes a specialized "selector" model or a ranker to distill la…
Bridging the Rigidity Gap: Deploying Secure Agentic RAG in Healthcare Governance
In the healthcare industry, data is both an organization's most valuable asset and its most heavily guarded liability. While industries like e-commerc…
The Macro Failure of "One-Size-Fits-None" Reporting: Why Healthcare Providers Fail to Act on Patient Feedback - Part I
Every month, healthcare jurisdictions pool millions of dollars into collecting Patient-Reported Experience Measures (PREMs). Millions of text files an…
Почему WER недостаточно: Семантическая декомпозиция ошибок ASR
В продуктах, построенных поверх моделей распознавания речи (Automatic Speech Recognition models, ASR), качество распознавания речи напрямую влияет на …
Эволюция 'More Like This'
Во многих поисковых сценариях пользователь начинает не с пустой строки запроса, а с существующего результата. Пользователь открывает статью и хочет на…
Prompting styles - Basic
Query which we ask the LLM is referred to as prompt. The way in which we provide prompt to LLM makes a difference and there are different ways to to p…
I built an AI contract review and reader tool for plain-language contract understanding
I recently launched SpotClause, a small AI contract review and reader tool. The idea came from a simple problem: contracts are often difficult to read…
Лингвистика + статистика = NLP
Как-то так получилось, что я NLP-инженер, который закончил Московский государственный лингвистический университет. Мне нравится ковыряться в коде и мо…
Dual Encoder vs Cross-Encoder: Why Your RAG Pipeline Needs Both
My RAG pipeline looked fine on paper. Fast retrieval. Decent cosine scores. But when I tested it with real queries, the top results were always a litt…
How I Built Semantic Discussion Clustering Without Embeddings (and Why It Was Good Enough)
The Problem I wanted to monitor discussions around products, bugs and trends across communities. Examples: Reddit Hacker News GitHub Issues Forums Mos…
I Built a Multilingual Spam Detection Dataset with 149K+ Messages Across 23 Languages
Spam detection datasets are surprisingly bad once you move outside English. Most public datasets are: tiny, outdated, English-only, SMS-only, or missi…
Современные морфоанализаторы русского языка: от словарей к нейросетям
В статье «Извлечение и обработка требований из документов с помощью NLP-инструментов » я уже показывал, как переход от LLM к NLP-библиотекам помогает …
Day 6 - Embedding - RAG
In the previous post, we saw what chunking is and the various methdologies of chunking. In this post, we are going to see the next stage of the RAG pi…
Ask.com закрылся. Что это был за сервис? Вспоминаем 90-е
На главной странице Ask.com недавно появилось короткое уведомление: сервис официально прекратил работу 1 мая 2026 года. Компания-владелец решила закры…
Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM
Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии. Если вам приходилось разбирать большие масс…
Как мы пытаемся снизить возвраты животных из приютов с помощью NLP
Четыре года я была волонтером в приюте. Самое тяжелое — видеть «вернувшихся» животных. Ещё вчера у них был дом, а сегодня снова клетка. В России 3,6 м…
Hybrid Search Blueprint Series: Semantic Boosting
This article was written by Erik Hatcher . This is the third and final article of this hybrid search series. First, we surveyed the (hybrid) search la…
Извлечение и обработка требований из документов с помощью NLP-инструментов
Приветствую всех читателей Хабр. Думаю, многим знаком этот сценарий: появляется задача — и первая мысль: «скормлю все LLM, она разберётся». Поначалу п…
Day 4 - Chunking continued - RAG
Semantic Chunking Lets Consider two paragraphs A and B, focussing on strings in python. para A focus on typecasting and para B focus on accessing char…
Generation 1 — Standalone Models (2018–2022)
The Foundation of Modern AI Systems When people think of tools like ChatGPT, they often assume the intelligence comes from a single powerful system th…