Dlaczego AI jest zdezorientowany w długim czacie
Za każdym razem, model językowy otrzymuje całą rozmowę jako jeden duży tekst i odpowiedzi oparte na nim. Rozmiar tego tekstu jest ograniczony, a uwaga modelu rozciąga się nierównomiernie: ostatnie i najbardziej wyraźne rzeczy liczą się bardziej niż porozumienia od samego początku. Więc w długim czacie oryginalne zasady tracą na wadze, odpowiedzi stają się mniej dokładne, a wcześniejsze błędy i zabłąkane szczegóły zaczynają wpływać na nowe. Nie jest to pamięć w sensie ludzkim, ale ograniczenie wielkości i sposobu wykorzystania kontekstu. Im dłużej i gorzej czat, tym większa szansa, że coś ważnego zostanie pominięte.
Pierwsza technika: jeden czat, jedno zadanie
Najbardziej niezawodnym sposobem na uniknięcie zamieszania jest nie mieszanie różnych zadań w jednej rozmowie. Jeśli skończyłeś list do klienta i teraz chcesz prezentację, otwórz nowy czat. W ten sposób nic dodatkowego nie zostaje w kontekście, a model nie próbuje łączyć niekompatybilnych rzeczy. Tytuł czatu również pomaga: łatwo znajdziesz odpowiednią rozmowę. Jeśli zadanie jest duże, podziel je na etapy i daj każdemu etapowi krótki, samodzielny sygnał z danymi, których potrzebuje, zamiast mieć nadzieję, że model będzie trzymał wszystko naraz.
Druga technika: podsumowanie umów i ponowne rozpoczęcie
Kiedy czat staje się długi, poproś AI napisać krótkie podsumowanie: cel, podjęte decyzje, wymagania dotyczące formatu i tonu, i co zostało zrobione. Sprawdź i napraw. Następnie otwórz nowy czat i wklej streszczenie jako pierwszą wiadomość, dodając nowe zadanie. Masz czysty kontekst, gdzie ważne rzeczy są na samym początku i nie pogrzebane pod dodatkową rozmową. Jest to szczególnie przydatne w przypadku projektów prowadzonych w ciągu kilku dni: przechowywać podsumowanie w notatkach i wklej je za każdym razem, gdy wracasz do pracy.
Trzecia technika: ustalić zasady, gdzie nie zostaną stracone
Stałe zasady (język, styl, ograniczenia, format odpowiedzi) nie są lepiej powtarzane ręcznie w każdym czacie. Wiele usług posiada ustawienia instrukcji użytkownika lub miejsca pracy projektu, gdzie zasady są przechowywane oddzielnie i stosowane automatycznie. Nazwy i funkcje zależą od usługi, więc sprawdź ustawienia. W każdym razie, wyrażenie jest krótkie i możliwe do sprawdzenia: "odpowiedz w nie więcej niż pięć zdań", "użyj formalnego 'ty'". Długie niejasne instrukcje działają gorzej niż krótkie konkretne.
Jak sprawdzić, że AI pamięta wszystko
Przed ważnymi pracami poproś model, aby pokrótce powtórzył następujące wymagania: cel, format, ograniczenia. Jeśli czegoś brakuje w podsumowaniu, dodaj to wyraźnie. Dla długich dokumentów, zamiast wklejać jeden ogromny tekst, podzielić go na części i przetwarzać je w porządku, montując wynik na końcu. Jeśli zauważysz coraz gorsze odpowiedzi po długiej rozmowie, nie błagaj modelu, aby pamiętał: rozpocząć nowy czat z podsumowaniem. Jest szybszy i bardziej niezawodny niż korekcja skumulowanego dryfu.