Yahoo für das Invisible Web: Scatter/Gather-Clustering für semistrukturierte Daten - Studienprojekt, Wintersemester 2003/2004

Lehrpersonen

Dozent(in)

• Prof. Dr.-Ing. Norbert Fuhr
• Dipl.-Inform. Gudrun Fischer

Termine

Beschreibung

Inhalt

• Hintergrund
• Aufgabe
• Voraussetzungen
• Teilnehmer
• Fahrplan und Termine
• Werkzeuge und Standards
• Material
• Ergebnis
• Anschließende Diplomarbeiten
• Kontakt
• Blockseminar

Hintergrund

Invisible Web, Deep Web oder Hidden Web sind Bezeichnungen für diejenigen Dokumente im WWW, die nicht als statische Seiten existieren, sondern erst auf Anfrage von einem Web-Dienst generiert werden (z.B. aus einer Datenbank).

Die Open Archives sind ein Beispiel für Quellen von Deep-Web-Dokumenten. Im Rahmen des Projektes CYCLADES wurde eine Infrastruktur entwickelt, um Dokumente aus beliebigen Open-Archives-konformen Quellen zu holen, zu indexieren und suchbar zu machen. Die Dokumente liegen in verschiedenen XML-Schemata vor.

Aufgabe

So wie Yahoo ein Browsen von Seiten des Visible Web ermöglicht, soll für das Hidden Web (am Beispiel von Open Archives) ein Browsing-Werkzeug entwickelt werden, das auf Clustering basiert.

Das Werkzeug soll nach dem Scatter/Gather-Algorithmus ( [Cutting/etal:92] , [Cutting/etal:93] ) zunächst ein grobes Clustering der Daten vornehmen, den Anwender dann einen oder mehrere der entstandenen Cluster auswählen lassen, und deren Inhalt von neuem in Cluster aufteilen, usw. So entsteht für den Anwender eine kategorie-ähnliche, aber dynamische Aufteilung des Datenraums, der er in beliebige Tiefe folgen kann.

Voraussetzungen

• Java-Programmierkenntnisse
• Wünschenswert sind außerdem Kenntnisse in Information Retrieval oder Datenbanken.

Dieses Studienprojekt richtet sich an Studierende des Diplomstudienganges Angewandte Informatik im Hauptstudium.

Teilnehmer

• Michael Chojnacki
• (Khalid Khan)
• Ting Li
• Andre Nurzenski
• Zhihong Tang

Fahrplan und Termine

Das Studienprojekt umfasst 12 Semesterwochenstunden.

Zusätzlich findet vom 17. bis 19. Oktober ein Blockseminar statt, in dem wir uns mit dem Hintergrund und den wesentlichen Techniken vertraut machen werden. Nicht zu vergessen mit den anderen Projektteilnehmern. Die Teilnahme am Seminar ist verpflichtend.

• Sonntag, 14.September, Anmeldeschluss (Anmeldung per E-Mail an Gudrun Fischer, <Gudrun.Fischer@uni-duisburg.de> )
• bis Dienstag, 16. September, Themenvergabe für das Blockseminar
• ab 13. Oktober Semester mit 2 Gruppenbesprechungen pro Woche (jeweils montags, 14-16 Uhr in LF230 und dienstags, 10-12 Uhr in LB239)
• Freitag, 17. Oktober, bis Sonntag, 19. Oktober, Blockseminar in der Jugendherberge Hagen

Werkzeuge und Standards

Wir werden in diesem Projekt auf Debian-Linux-Maschinen arbeiten und folgende Werkzeuge und Standards verwenden:

• XML - Extensible Markup Language, http://www.w3.org/XML/
• CVS - Concurrent Versions System, http://www.cvshome.org/
• Java, Tutorials gibt es z.B. auf http://java.sun.com/docs/books/tutorial/
• Eclipse, http://www.eclipse.org/

Material

• Erste Schritte mit Linux (für Accounts im DB-Pool LF 230)
• Kurzvortrag: Einführung in Unit Tests (Gudrun Fischer)
• Kurzvortrag: Synchronisation in Java (Zhihong Tang)

• Scatter/Gather: A Cluster-based Approach to Browsing Large Document Collections, [Cutting/etal:92]
• Constant Interaction-Time Scatter/Gather Browsing of Very Large Document Collections, [Cutting/etal:93]

Ergebnis

• Abschlussbericht

Anschließende Diplomarbeiten

Die folgenden Diplomarbeiten führen die Materie weiter:

• Semi-Automatische Inhaltsübersicht für XML-Kollektionen
• Browsing in Multi-Level-Hypertext
• Cluster-basiertes Browsing in Peer-to-Peer-Netzen

Kontakt

Veranstalter dieses Studienprojekts sind:

• Norbert Fuhr <fuhr@uni-duisburg.de>
• Gudrun Fischer <Gudrun.Fischer@uni-duisburg.de>