Local-first: a Model on Your Own Machine, Zero Cloud
This is the concrete, runnable walkthrough for Post 1 of the Portway series . The goal: stand up a single model behind an OpenAI-compatible endpoint o…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
claude
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
tutorial
typescript
webdev
I Tried Building a Complex Security Tool with a 1.5B Local Model — Here's What Broke
Problem: I had aider running on Lubuntu, three API keys configured, a detailed architecture diagram, and a clear goal — build a modular forensic data …
Поднимаем Llama 3 в облаке: Ollama и Open WebUI
Локально запустить LLM сегодня можно за десять минут — например, с помощью LM Studio. Но как только модели нужно дать доступ команде, подключить RAG и…
Tesla P40 in a Homelab: 24GB of Inference on a Budget
The Tesla P40 is a seductive piece of hardware: 24GB of VRAM for a fraction of the cost of a modern RTX card. But after three weeks of fighting with i…
Building a Private RAG System: Lessons from a Local-First AI Journal
Most AI apps quietly send your data to the cloud. DiaryGPT does the opposite — and this is the full technical story. The Problem With AI + Private Dat…
Spring AI: феноменология цифрового сознания, или Как я перестал бояться и полюбил облачные модели
Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ&nb…
Chat with your database in plain English — locally, for free
"What were our top 10 customers last quarter by revenue, as a bar chart?" DB-GPT translates that to SQL, runs it against your database, and renders th…
The simplest self-hosted RAG you'll ever set up (Apache 2.0, 20K stars)
Most RAG tools make you choose between simplicity and power. MaxKB doesn't try to be powerful — it tries to be simple, and it nails it. 20K+ GitHub st…
Gemma 4 wrote three summaries in one response. The middle one was a self-disclaimer.
The short version, in case the title was being coy: at num_ctx=2048 , Gemma 4 E2B produces three sequential outputs in a single response — a mostly-ha…
Ollama vs llama.cpp vs vLLM: Which Should You Use in 2026?
From the Best GPU for LLM archive. The canonical version has interactive calculators, an up-to-date GPU comparison table, and live pricing. Three tool…
CrawlForge v4.2.2: New CLI + 3 Tools for Local AI Scraping
Today we are shipping CrawlForge v4.2.2 , our biggest release since launch. It brings three new tools, a standalone command-line interface, and a quie…
Using Ollama with the Laravel AI SDK: Run Local LLMs for Free
Originally published at hafiz.dev API costs add up fast during AI development. You prompt an agent 50 times debugging a tool, that's 50 API calls. You…
I shipped local LLM features two months ago. Production never ran them once.
This is a submission for the Gemma 4 Challenge: Build with Gemma 4 Two months ago I shipped local-LLM features in TextStack — an open-source reader fo…
Ollama и Open WebUI на VPS без GPU: рабочий вариант или боль?
Практический разбор запуска Ollama и Open WebUI на обычном VPS без GPU: минимальная конфигурация, ограничения CPU/RAM, docker-compose, безопасность и …
Ollama Models Explorer — a clean Next.js UI to browse and filter local LLMs
If you're running local LLMs through Ollama, finding the right model is annoying. The official model page scrolls forever, capability tags are inconsi…
No More Hallucinated Citations: A Domain-Specific RAG System with Ollama, ChromaDB and AI Agents
TL;DR: I built a full-stack knowledge pipeline around a corpus of 2,514 academic PDFs focused on urban art. The system combines ChromaDB vector search…
Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)
Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести совреме…
Local LLMs in 2026: What Actually Works on Consumer Hardware
Local LLMs in 2026 work on three hardware lanes: 32-core CPU with 64GB+ RAM hits 10-25 tokens per second on Qwen 3 14B, an RTX 4090 hits 30-80 tokens …
Вайбкодинг — это гемблинг
Наблюдая за тем, как ИИ внедряется на работе и дома, я всё чаще ловлю себя на простой мысли: всё труднее писать код…
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM
Я работаю по ИП, поэтому не только пишу код, но и поддерживаю как DevOps свои проекты у заказчика. Эта история началась банально: я собирался в отпуск…
pgvector + Ollama Setup
RAG Without the Chatbot: pgvector + Ollama for Operational Data Most RAG tutorials start with "upload a PDF and ask questions about it." That's fine f…
Как запускать LLM-агентов без облачных API: VPS, локальные модели и требования к железу
LLM-агенты вроде Claude Code постепенно становятся рабочим инструментом разработчика. Но почти все они завязаны на облачные API с их ценами, лимитами …
[Day 3] I Had a Local LLM Analyze a Year of My Credit Card Statements
[Day 3] I Had a Local LLM Analyze a Year of My Credit Card Statements Intro Day 3: I'm going to hand a year of credit card statements over to a local …
Ollama Cloud Client: когда модели слишком тяжелы для локального запуска
Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ Be…
Как Gemma и LangGraph написали законопроект победившего биопанка
Для специального бенчмарка мне потребовался нормативно-правовой документ с научной терминологией, перекрестными ссылками и набором сложных для вектори…
Build a RAG agent with LangChain and Ollama
I started where a lot of us do: a LangChain RAG walkthrough. You chunk some text, embed it, retrieve top‑k chunks, and wire an LLM to answer questions…
Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama?
Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры. Собственно, сама Ollama работает поверх llama.cpp, llama…
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». …
SD Studio: свой Midjourney на своей видеокарте с LLM-помощником
Сперва — откуда взялась идея? Мы с женой делаем текстовую игру по её фэнтези-вселенной. Что-то вроде совместного хобби: ей интерес…