RAG gegen das rohe Modell
Eine Frage, zwei Antworten, nebeneinander. Den Unterschied macht das Retrieval.
Dieselbe Frage, mit und ohne Retrieval beantwortet.
Was hier echt ist
Die rechte Spalte ist ein echter Aufruf des Assistenten dieser Website: echtes Retrieval über den echten Korpus, dazu die eigenen Einträge der Website für Fragen zu seiner Arbeit als Ganzes, Token für Token gestreamt, mit den Tokenzahlen und Kosten, die der Server selbst meldet. Die linke Spalte ist ehrlich über eine Lücke — eine rohe, unbelegte Antwort bräuchte einen Endpunkt, den diese API bewusst nicht veröffentlicht.