Experimentielle Evaluierung im Information Retrieval - Seminar, Wintersemester 2005/2006

Lehrpersonen

Dozent(in)

• Prof. Dr.-Ing. Norbert Fuhr
• Dipl.-Inform. Henrik Nottelmann

Formalia

Zielgruppe

• DAI Hauptstudium mit 4 Kreditpunkten : Informatik der Systeme; "Bereich "D"

Voraussetzungen

• Die Vorlesung Information Retrieval wird vorausgesetzt.

Beschreibung

Verbunden mit Forschung im Bereich des Information Retrieval ist immer eine Evaluierung. Durch Experimente wird untersucht, wie sich die entwickelten Modelle, Verfahren oder Techniken im Vergleich zu früheren Arbeiten verhalten. Typisch sind z.B. batchorientierte Experimente im klassischen Dokumentenretrieval mit einer Menge von Anfragen, die auf die Dokumente einer Testkollektion angewendet werden. Anschließend können Precision und Recall mit vorgebenen Relevanzurteilen ("Welche Dokumente sind zu welcher Anfrage relevant?") ermittelt werden. Initiativen wie TREC (unstrukturierte Texte) oder INEX (für XML-Dokumente) liefern hierzu die Testdatensätze.

Die hierzu notwendigen Experimente, insbesondere die Vorgehensweise und typische Probleme, sind Thema dieses praxisorientierten Seminars. In einem ersten Block werden theoretische Grundlagen erarbeitet, in einem zweiten Block dann auf ein einfaches Evaluierungsvorhaben angewandt. Ziel ist, daß die Teilnehmerinnen und Teilnehmer in die Lage versetzt werden, selbständig und erfolgreich IR-Verfahren zu evaluieren. Trotz dieser Aufspaltung in theoretische und praktische Arbeiten entspricht das Arbeitspensum dem eines "klassischen" Seminars.

Vortragsthemen

Es gibt insgesamt 6 Vortragsthemen, die bereits vergeben wurden.

Fahrplan und Termine

Das Seminar wird in Form von 3 Präsenzveranstaltung mit zwischenzeitlicher Arbeit in Kleingruppen (2 Personen) stattfinden:

Dienstag, 25. Oktober 2005, 14:15 Uhr, LF 261:

Aus einer konkreten Fallbeispielbeschreibung extrahieren wir gemeinsam typische Probleme bei der experimentellen Evaluierung im Information Retrieval. Anschließend erstellen wir daraus Vortrags- und praktische Themen, verteilen sie auf Kleingruppen (2 Personen), und legen den weiteren Fahrplan fest.

13./20. Dezember 2005, 13:30-15:45 Uhr, LF 261:

Das erste Kompaktseminar (zweimal gut 2 Stunden) ähnelt einem klassischen Seminar. Jede Zweiergruppe hält einen rund 20-minütigen Vortrag (Themen und Einteilungen), an die sich 10 Minuten Diskussion anschließen. Am Ende gibt es eine Einführung in den praktischen Teil (rund 60 Minuten).

28. Februar 2006, 12:00-16:00 Uhr, LF 261:

Im zweiten Kompaktseminar (4 Stunden) wird jede Zweiergruppen einen weiteren Vortrag halten, der dieses Mal sich auf ihre praktische Arbeit (Experimente) bezieht. Diese Vorträge sollen die zu lösende Aufgabe, auftretende Probleme und praktische Lösungsansätze enthalten.

Trotz dieser Aufspaltung in theoretische und praktische Arbeiten entspricht das Arbeitspensum dem eines "klassischen" Seminars. Zur Erlangung des Leistungsnachweises sind folgende Leistungen zu erbringen:

• Teilnahme an den 3 Terminen
• Aktive Mitarbeit in der Kleingruppe
• Präsentation eines der beiden Vorträge