Experimentielle Evaluierung im Information Retrieval
2005-10-01

Teaching personnel


Lecturer

Formalia


Targeted audience
  • DAI Hauptstudium with 4 credit points : Informatik der Systeme; "Bereich "D"
Preconditions
  • Die Vorlesung Information Retrieval wird vorausgesetzt.

Description


Verbunden mit Forschung im Bereich des Information Retrieval ist immer eine Evaluierung. Durch Experimente wird untersucht, wie sich die entwickelten Modelle, Verfahren oder Techniken im Vergleich zu früheren Arbeiten verhalten. Typisch sind z.B. batchorientierte Experimente im klassischen Dokumentenretrieval mit einer Menge von Anfragen, die auf die Dokumente einer Testkollektion angewendet werden. Anschließend können Precision und Recall mit vorgebenen Relevanzurteilen ("Welche Dokumente sind zu welcher Anfrage relevant?") ermittelt werden. Initiativen wie TREC (unstrukturierte Texte) oder INEX (für XML-Dokumente) liefern hierzu die Testdatensätze.

Die hierzu notwendigen Experimente, insbesondere die Vorgehensweise und typische Probleme, sind Thema dieses praxisorientierten Seminars. In einem ersten Block werden theoretische Grundlagen erarbeitet, in einem zweiten Block dann auf ein einfaches Evaluierungsvorhaben angewandt. Ziel ist, daß die Teilnehmerinnen und Teilnehmer in die Lage versetzt werden, selbständig und erfolgreich IR-Verfahren zu evaluieren. Trotz dieser Aufspaltung in theoretische und praktische Arbeiten entspricht das Arbeitspensum dem eines "klassischen" Seminars.