PROMPTOWY_
Newsy

Modele AI nie radzą sobie z konfliktami poleceń - nowy benchmark to potwierdza

promptowy@ai:~$ cat news_1

Kiedy agent AI dostaje sprzeczne polecenia - powiedzmy, jedno z komunikatu systemowego, drugie od użytkownika, trzecie z narzędzia, a czwarte od innego agenta - które z nich powinien wykonać?

promptowy@ai:~$ cat news_2

To pytanie brzmi prosto, ale w praktyce okazuje się poważnym problemem.

promptowy@ai:~$ cat news_3

Na czym polega problem Obecne podejście do hierarchii poleceń w modelach językowych zakłada niewielką, sztywną liczbę poziomów uprzywilejowania - zazwyczaj mniej niż pięć - definiowanych przez stałe etykiety ról, na przykład: system ma pierwszeństwo przed użytkownikiem.

promptowy@ai:~$ cat news_4

Autorzy artykułu - Jingyu Zhang, Tianjian Li, William Jurayj, Hongyuan Zhan, Benjamin Van Durme i Daniel Khashabi - twierdzą, że taki model jest niewystarczający dla rzeczywistych zastosowań agentowych.

promptowy@ai:~$ open --full
Czytaj całość

Modele AI nie radzą sobie z konfliktami poleceń - nowy benchmark to potwierdza

Otwórz artykuł na promptowy.com