Lost in the middle: jak AI pamięta (i gubi) kontekst

Modele językowe nie czytają Twojego promptu „po równo". Najlepiej zapamiętują to, co na początku i na końcu, a informacje ze środka potrafią po cichu pominąć. To zjawisko nazywa się „lost in the middle" i ma realne konsekwencje, gdy wklejasz długie dokumenty albo prowadzisz długą rozmowę.

Czym jest okno kontekstu

„Okno kontekstu" to ilość tekstu, jaką model bierze pod uwagę naraz: Twój prompt, wklejone dokumenty i dotychczasowa rozmowa. Współczesne modele mają duże okna, więc kuszą, by wrzucić wszystko. Problem w tym, że duże okno nie znaczy równa uwaga.

Dlaczego środek „wypada"

Badania nad długim kontekstem pokazały powtarzalny wzorzec: trafność odpowiedzi jest wysoka, gdy kluczowa informacja leży blisko początku lub końca, a wyraźnie spada, gdy jest schowana w środku. Model jej nie „gubi" dosłownie, po prostu przykłada do niej mniejszą wagę.

Co to znaczy w praktyce

• Wklejasz 30-stronicową umowę i pytasz o zapis ze środka → ryzyko przeoczenia.
• Długa rozmowa → instrukcja sprzed wielu wiadomości przestaje działać.
• Łączysz kilka dokumentów → ten w środku ma najmniejszy wpływ na odpowiedź.

Jak sobie z tym radzić

1. Najważniejsze na brzegach

Kluczowe polecenie i kryteria umieść na początku, a przypomnienie najważniejszego, na końcu prompta.

2. Dziel i streszczaj

Zamiast jednego wielkiego wejścia, podziel materiał i poproś o streszczenie etapami. Krótszy, gęstszy kontekst = większa trafność.

3. Używaj wypunktowań

Struktura (nagłówki, listy) pomaga modelowi „zaczepić się" o ważne fragmenty.

4. Przy dużej wiedzy: RAG

Gdy materiału jest naprawdę dużo, zamiast wklejać wszystko, użyj podejścia, które podaje modelowi tylko najtrafniejsze fragmenty.