Llama Index-Artikel 2 (QA und Bewertung)
Ein Beispiel für die Produktion
QA
Benutzerfall:
-
- was * *
-Semantik abfragen (* * Semantik * * / Top K) Zusammenfassung
-
- wo * *
- Over documents
- Building a multi-document agent over the LlamaIndex docs -über strukturierte Daten (z. B. JSON) -suchen Sie Pandas -Text to ql
-
- wie * *
alle obigen Links zeigen unten auf: Qantia-Muster
Einer der einfachsten
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)
Wählen Sie eine andere Datenquelle (Route Datensuche) aus
Abfragen nach vergleichen / Kontrasten
Ich verstehe das nicht.
Neben den oben beschriebenen expliziten Synthese / Routing Flüssen kann LlamaIndex auch allgemeinere Abfragen nach mehreren Dokumenten unterstützen. Dies kann über unsere Klasse `SubQuestionQueryEngine' erreicht werden. Wenn Sie eine Abfrage erhalten, wird diese Abfrage-Engines einen "Abfrage-Plan" erzeugen, der Unterabfragen gegen Unterdokumente enthält, bevor Sie die endgültige
Diese Abfrage-Engine kann eine beliebige Anzahl von Unterabfragen auf eine beliebige Untermenge von Abfrage-Engine-Tools ausführen, bevor sie die endgültige Antwort Dies macht es sich besonders gut geeignet, um Dokumenten- / Kontrastabfragen sowie Abfragen in Bezug auf ein bestimmtes Dokument zu vergleichen.
LlamaIndex kann auch iterative mehrstufige Abfragen unterstützen. Geben Sie eine komplexe Abfrage an, teilen Sie sie in eine anfängliche Unterfrage auf der Grundlage der zurückgegebenen Antwort auf und erzeugen Sie sequenziell Unterfragen, bis die endgültige Antwort
Geben Sie beispielsweise die Frage "wer war in der ersten Charge des von dem Autor gestarteten Beschleunigers zusammen" an, und das Modul zerlegt die Abfrage zuerst in eine einfachere Anfangsfrage "was wurde das Beschleunigungsprogramm, das der Autor gestartet hat?", fragt den Index und stellt dann Folgefragen.
Eval
-bewerten Sie die Antwort -Auswertungssuche
-bewerten Sie die Antwort -benutze GPT-4, um zu bewerten -Maße der Bewertung -Generierte Antworten und Referenzantworten: Richtigkeit und semantische Ähnlichkeit -die generierte Antwort ist identisch mit dem wiedergegebenen Kontext: * * Treue * * -die generierte Antwort ist die gleiche wie Abfrage: relevante Antwort -Rooked Contexts und Abfragen: * * Kontext Bedeutung * * -Generieren Sie Referenzantworten -Auswertungssuche (Retrieval)
Beispiel verwenden
In andere Werkzeuge integrieren
- UpTrain: 1.9K：可试用，但是需要book demo，目测不便宜
- Tonic Validate(Includes Web UI for visualizing results)：有商业版本，可试用，之后200美元/月
- DeepEval: 1.6K
- Ragas: 4.4K -es fühlt sich gut an -Llamaindex-- > Ras-- > LangSmith und andere Werkzeuge -wenn "fast Start" jedoch nicht ausgeführt wird, wird 'ModuleNotError' gefragt: kein Modul mit dem Namen 'ragas.metrics'; 'ragas' ist kein Paket.