AI infraštruktúraAI agentiBratislava, SK
Služba 01
Vrstva platformy: všetko medzi kódom vášho produktu a jazykovým modelom. Postavené tak, aby zmena modelu bola konfigurácia, kvalita merateľná a náklady dashboard — nie šok z faktúry.
AI projekty zriedka zlyhávajú preto, že model je zlý. Zlyhávajú preto, že chýba potrubie — niet ako opakovať volanie, niet ako vidieť, čo model videl, niet ako prepínať poskytovateľov a niet ako odpovedať na otázku „koľko nás táto funkcia minulý mesiac stála".
AI infraštruktúra je práca, ktorá to všetko napraví. Je nevďačná, je dôvodom, prečo je zvyšok vašej AI roadmapy možný, a je to časť, na ktorú míňam najviac času.
Jedno rozhranie pred každým poskytovateľom. Routovanie medzi modelmi podľa úlohy, automatický fallback pri výpadku poskytovateľa, politika retry a timeoutov a streamovanie tam, kde pomáha. Vymeňte modely bez zásahu do kódu produktu.
Ingest pipeline, stratégia členenia, embeddings a vektorové úložisko vedľa vašich relačných dát. Hybridné kombinované a vektorové vyhľadávanie, reranking, incrementálne preindexovanie a citácie zdroja pri každej odpovedi.
Zlaté datasety z vašej vlastnej prevádzky, LLM-as-judge s kalibráciou na ľuďoch, regresné sady bežiace v CI a číslo, ktoré môžete predložiť vedeniu namiesto pocitu.
OpenTelemetry stopy pre každé volanie: prompt, načítané časti, model, tokeny, latencia, náklady. Logujte presný vstup, ktorý spôsobil zlú odpoveď, reprodukujte ho a otestujte opravu.
Rozpočty na prompt a kontext, cacheovanie, routovanie najprv na malé modely, batch a asynchrónne cesty. Väčšina klientov zníži výdavky o 40–70 % v prvom štvrťroku bez zásahu do kvality odpovedí.
Docker a Kubernetes, prostredia oddelené tak, ako to vaši bezpečnostní odborníci vyžadujú, správa tajomstiev, maskovanie PII na hranici a voliteľná plne on-premise inferencia pre dáta, ktoré nesmú odísť.
Ktoré funkcie volajú model, ktoré dáta môžu spracúvať, ktoré sú zákaznícke, akú latenciu a náklady tolerujete. Z toho vznikne písomný plán.
Jeden vstupný bod pre modely, prompty a nástroje. Všetko pod ním komunikuje s týmto, takže nikde nie je natvrdo zapísaný vendor SDK.
Ingestia, členenie, embedding, indexácia, citácie. Nudné, testovateľné — a to, čo používatelia spoznajú, keď to chýba.
Evals v CI, stopy v produkcii, náklady na funkciu na dashboarde. Potom ladenie: routovanie, cacheovanie, dĺžka kontextu.
Záťažové testy, nácviky porúch, runbooky a prechádzka s vaším tímom, aby ste to vlastnili po mojom odchode.
TypeScript · Python · Anthropic / OpenAI / Google APIs · pgvector alebo Qdrant · PostgreSQL · Redis · Kubernetes · Docker · OpenTelemetry · AWS
Ako človek, ktorý pozná špecifické režimy zlyhania LLM — nedeterminizmus, drift retrievu, zmeny promptu a kontextu, tokenovú ekonomiku, evaluáciu. Zvyčajne pracujem vo vašej existujúcej infraštruktúre a CI, nie mimo nej.
Zvyčajne nie na začiatku. Hostované API plus dobrá brána pokryjú väčšinu firemných prípadov použitia a poviem vám, kedy sa self-hosting skutočne oplatí, namiesto toho, aby som k nemu automaticky smeroval. Ak vaše dáta nesmú opustiť sieť, self-hosting je jediná možnosť a viem ho nadimenzovať.
Každá platformová spolupráca dodáva evaluačný rámec. Metriky si dohodneme skôr, než začneme stavať, porovnáme ich so základom a spúšťame pri každej zmene. Stáva sa z nich aj regresná sada pre všetko, čo postavíme ďalej.
Je to bežný prevádzkový náklad a presne na to brána slúži. Migrácia modelu je zmena mapovania plus opakovanie eval sady; ak migrácia pokazí kvalitu, evaly to zachytia skôr, než zákazníci.