Gorgos i narzędzia obserwowalności
LangSmith, Langfuse i podobne narzędzia odpowiadają na pytanie „co się wydarzyło”. To bardzo przydatne i zupełnie inne pytanie niż „czy wolno było”.
Co dają narzędzia obserwowalności?
Zapis przebiegu: jakie wywołania, z jakimi promptami, z jakim kosztem i wynikiem. Do tego oceny jakości i kolejki adnotacji, które pozwalają mierzyć, czy zmiana modelu pogorszyła odpowiedzi.
Bez tego rozwój agenta jest zgadywaniem. To warstwa, której nie da się zastąpić polityką i której Gorgos nie zastępuje.
Na czym polega różnica?
Obserwowalność jest z definicji po fakcie. Zapis powstaje, gdy działanie już się wydarzyło. Bramka działa przed i może nie dopuścić.
Przy działaniach odwracalnych po fakcie wystarcza. Przy wysłanej wiadomości do klienta nie ma czego cofać, więc zapis pozwala tylko dowiedzieć się, co poszło nie tak.
Obserwowalność zapisuje, co się stało. Bramka decyduje, co się stanie. Do audytu potrzebne są obie.
Czy zapis przebiegu wystarczy jako ślad audytowy?
Zwykle nie, z dwóch powodów. Po pierwsze, nie zawiera podstawy decyzji: widać wywołanie, nie widać reguły, która je dopuściła, ani osoby, która je zatwierdziła.
Po drugie, zapis, który da się nadpisać, jest wart tyle, ile zaufanie do osoby z dostępem. Ślad audytowy dokłada łańcuch skrótów, żeby zmiana historii była widoczna.
Jak używać obu naraz?
Obserwowalność do rozwoju: mierzenie jakości, koszt, regresje. Bramka i dziennik decyzji do odpowiedzialności: co wolno, kto pozwolił, na jakiej podstawie.
Te warstwy nie konkurują o budżet, bo rozwiązują problemy zgłaszane przez różne osoby. Pierwszą chce zespół inżynierski, drugą właściciel firmy.