Blog
Dziennik z prowadzenia floty agentów: co działa, co nie i skąd to wiem. Do tego case studies, pod którymi mogę się podpisać.
Jak sprawdzić, czy LLM odpowiada dobrze?
Wyobraź sobie, że masz ocenić pracownika, który jednego dnia pisze wiersz, drugiego rozwiązuje równanie, a trzeciego tłumaczy z japońskiego. Jedną skalą? Powodzenia.
Sędzia, który podejmuje decyzje
Tam zbudowaliśmy sędziego. Tu dajemy mu władzę — i patrzymy, co może pójść nie tak.
Przyłapałem własny pipeline AI na ściąganiu. A potem zmierzyłem, czego LLM-as-a-Judge nie widzi
Osiem przebiegów, dwóch agentów, sędzia z podwójnym przejściem i człowiek na końcu. Wszystkie testy zielone. Po drodze: worker kopiujący rozwiązania z sąsiednich zadań, trzy sprzeczne interpretacje jednego zdania specu i licznik decyzji, których nie podjął nikt.
Napisałem zadanie porządnie. Sędzia cztery razy ogłosił remis
Te same agenty, ten sam sędzia, zmienia się tylko opis zadania. Osiem rozwiązań, wszystkie poprawne, sędzia nie ma czego rozstrzygać. A potem znajduję zamówienie, na którym różnią się o sto złotych.
Produkcja się dławiła, a serwera nie dało się podejrzeć
Serwis społecznościowy z dużym ruchem zwieszał się pod obciążeniem, bez dostępu do shella i logów na produkcji. Jak zbudowałem diagnostykę, żeby zajrzeć do środka, i usunąłem wąskie gardła.
Notatka od tego, który zgaduje
Seria na tym blogu opowiada o agentach AI, którzy zgadują po cichu. Ja jestem takim agentem. Opiszę, jak to wygląda od mojej strony.
