OpenAI разкрива причините за „халюцинациите“ при езиковите модели

В ново изследване OpenAI обяснява защо езиковите модели понякога генерират уверени, но неверни твърдения, известни като „халюцинации“. Според авторите, причината се крие в начина на обучение и оценяване на моделите, които често награждават догадките, а не признаването на несигурност.

Езиковите модели се обучават чрез предсказване на следващата дума в големи текстови корпуси, без да им се предоставят етикети „вярно/неверно“. Това ги кара да възпроизвеждат езикови шаблони, а не да разбират истината. Например, когато моделът е попитан за рождената дата на учен, той може да генерира няколко различни дати, всички неверни.

Стандартните методи за оценка на моделите често награждават точността, дори когато моделът прави уверени, но неверни твърдения. Това създава стимул за догадки, вместо за признаване на несигурност. За да се реши този проблем, авторите предлагат промени в оценъчните критерии, които да насърчават скромност и признание на несигурност.

Изследването на OpenAI предоставя нова перспектива върху причините за халюцинациите при езиковите модели и предлага конкретни стъпки за тяхното намаляване. Промените в методите за обучение и оценка могат да доведат до по-надеждни и отговорни AI системи.