Gorgos i narzędzia obserwowalności
LangSmith, Langfuse i podobne narzędzia odpowiadają na pytanie „co się wydarzyło”. To bardzo przydatne i zupełnie inne pytanie niż „czy wolno było”.
Co dają narzędzia obserwowalności?
Zapis przebiegu: jakie wywołania, z jakimi promptami, z jakim kosztem i wynikiem. Do tego oceny jakości i kolejki adnotacji, które pozwalają mierzyć, czy zmiana modelu pogorszyła odpowiedzi.
Bez tego rozwój agenta jest zgadywaniem. To warstwa, której nie da się zastąpić polityką i której Gorgos nie zastępuje.
Na czym polega różnica?
Sam zapis przebiegu pomaga odtworzyć działanie. Kontrola uprawnień musi być podłączona przed skutkiem, jeśli ma go zatrzymać. To, czy narzędzie łączy obie funkcje, trzeba sprawdzić w konkretnym wdrożeniu.
Odwracalność jest jednym z kryteriów. Ryzyko, uprawnienia i wybrana polityka mogą wymagać zgody przed działaniem, nawet jeśli można je później cofnąć. Wysłanej wiadomości do klienta nie da się wycofać samym przywróceniem stanu; zapis pomaga odtworzyć jej podstawę.
Obserwowalność zapisuje, co się stało. Bramka decyduje, co się stanie. Do audytu potrzebne są obie.
Czy zapis przebiegu wystarczy jako ślad audytowy?
Zwykle nie, z dwóch powodów. Po pierwsze, nie zawiera podstawy decyzji: widać wywołanie, nie widać reguły, która je dopuściła, ani osoby, która je zatwierdziła.
Po drugie, porównanie wpisów z zaufanym łańcuchem skrótów pomaga wykryć zmianę historii. Trzeba osobno chronić punkt odniesienia: dostęp do wpisów i wszystkich skrótów pozwala przepisać spójną historię.
Jak używać obu naraz?
Obserwowalność do rozwoju: mierzenie jakości, koszt, regresje. Bramka i dziennik decyzji do odpowiedzialności: co wolno, kto pozwolił, na jakiej podstawie.
Te warstwy nie konkurują o budżet, bo rozwiązują problemy zgłaszane przez różne osoby. Pierwszą chce zespół inżynierski, drugą właściciel firmy.