AI infrastrukturaAI agentiBratislava, SK
Služba 01
Platformová vrstva: vše mezi kódem vašeho produktu a jazykovým modelem. Postavená tak, aby změna modelu byla konfigurace, kvalita měřitelná a náklady byly na dashboardu, ne překvapením z faktury.
AI projekty málokdy selhávají kvůli špatnému modelu. Selhávají proto, že chybí potrubí — není kde opakovat pokus, nevidíte, co model viděl, nelze přepnout poskytovatele a neumíte odpovědět na otázku „kolik nás tato funkce minulý měsíc stála“.
AI infrastruktura je práce, která to všechno napraví. Je to nevděčná práce, je důvodem, proč je zbytek vašeho AI roadmapu možný, a je to část, na které trávím nejvíc času.
Jedno rozhraní před každým poskytovatelem. Směrování podle úkolu mezi modely, automatický fallback při zhoršení poskytovatele, politika opakování a timeoutů a streamování tam, kde pomáhá. Vyměníte model, aniž byste sáhli na kód produktu.
Ingestion pipeline, strategie členění textu, embeddings a vektorové úložiště vedle vašich relačních dat. Hybridní vyhledávání podle klíčových slov i vektorů, reranking, incrementální reindexace a citace zdroje u každé odpovědi.
Golden datasets z vašeho vlastního provozu, LLM-as-judge kalibrovaný na lidech, regresní sady běžící v CI a číslo, které předložíte představenstvu místo dojmu.
OpenTelemetry trasy pro každé volání: prompt, načtené chunky, model, tokeny, latence, náklady. Zalogujte přesný vstup, který vygeneroval špatnou odpověď, reprodukujte ho a opravu znovu otestujte.
Rozpočty na prompt a kontext, cacheování, směrování nejdřív na malé modely, dávkové a asynchronní cesty. Většina klientů v prvním čtvrtletí sníží výdaje o 40–70 %, aniž by sáhla na kvalitu odpovědí.
Docker a Kubernetes, prostředí oddělená podle očekávání vašeho bezpečnostního týmu, správa tajemství, redakce PII na hranici a volitelný plně on-premise inference pro data, která nesmějí odejít.
Které funkce volají model, jaká data mohou zpracovávat, které jsou zákaznické, jakou latenci a náklady snesete. Z toho vznikne písemný plán.
Jednotný vstupní bod pro modely, prompt a nástroje. Vše ostatní komunikuje s ním, takže nikde není zapečetěné SDK konkrétního dodavatele.
Ingestion, členění, embedding, indexace, citace. Nudné, testovatelné — a to, co uživatelé poznají, když to chybí.
Evals v CI, trasy v produkci, náklady na funkci na dashboardu. Potom ladění: směrování, cacheování, délka kontextu.
Zátěžové testy, nácviky výpadků, runbooky a procházka s vaším týmem, abyste to po mém odchodu vlastnili sami.
TypeScript · Python · Anthropic / OpenAI / Google APIs · pgvector nebo Qdrant · PostgreSQL · Redis · Kubernetes · Docker · OpenTelemetry · AWS
Jako ten, kdo zná specifické způsoby selhávání LLM — nedeterminismus, drift retrievalu, změny promptu a kontextu, tokenovou ekonomiku, evaluaci. Obvykle pracuji uvnitř vaší stávající infrastruktury a CI, ne kolem ní.
Obvykle ne na začátku. Hostované API a dobrá gateway pokryjí většinu firemních případů a řeknu vám, kdy se self-hosting skutečně vyplatí, místo abych k němu defaultoval. Pokud vaše data nesmějí opustit síť, je self-hosting jedinou možností a umím ho nacenit.
Každá platformová spolupráce obsahuje evaluation harness. Metriky si domluvíme dřív, než začneme stavět, spustíme je proti baseline a při každé změně znovu. Stane se z něj i regresní sada pro vše, co postavíme dál.
To je běžný provozní náklad a přesně na to gateway slouží. Migrace modelu je změna mapování a opětovné spuštění eval sady; pokud migrace zhorší kvalitu, evals ji zachytí dřív než zákazníci.