Das NordLink Projekt, welches den Drittanbieter-Aufruf im Open-WebSearch (OWS) Projekt darstellt, ist Teil der Horizon 2020-Initiative, die das Ziel verfolgt, einen unabhängigen und transparenten Internet-Suchindex aufzubauen, vergleichbar mit Google, der für Dienste wie das Training von großen Sprachmodellen (LLM) in KI-Anwendungen genutzt werden kann. Dieses Projekt involviert europäische Universitäten und Rechenzentren wie das LRZ und CERN für Web-Crawling-Aktivitäten.

Das Hauptziel des NordLink-Projekts besteht darin, unsere Speicher- und HPC-Ressourcen mit der OWS-Infrastruktur zu verbinden und an den Aktivitäten des Web-Crawlings und der Indexierung teilzunehmen. Ziel ist es, zu demonstrieren, dass wir technisch in der Lage sind, als lokales Rechenzentrum am Crawling und der weiteren Verarbeitung der Indexdaten teilzunehmen. Die Herausforderung in der aktuellen Primärphase besteht weniger in der Bereitstellung technischer Ressourcen, sondern vielmehr in der technischen Anbindung von Speicherplatz und Rechenkapazitäten (HPC) an die verteilte OWS-Infrastruktur über spezialisierte Schnittstellen.

Im Folgenden sind die Ziele der Primärphase des NordLink-Projekts aufgeführt:

• Integration der Speicher- und HPC-Ressourcen unseres Rechenzentrums in die OWS-Infrastruktur.
• Sicherstellung einer nahtlosen Konnektivität und eines reibungslosen Datenflusses zwischen den lokalen Systemen und dem OWS-Netzwerk.
• Implementierung und Wartung von Schnittstellen für den Datenaustausch und die Datenverarbeitung.
• Durchführung von Web-Crawling und Indexierung zur Unterstützung des OWS-Suchindex.
• Dokumentation der Integrationsprozesse und Erstellung technischer Berichte.

01.10.2024 - 31.08.2025

• Prof. Dr. Jorge Marx Gómez

• MSc. Khurram Shehzad

• MSc. Sreedhar Kokkarachedu