Willkommen im Computational Intelligence Lab an der Universität Oldenburg, wo wir die Forschung im Bereich der künstlichen Intelligenz (KI) vorantreiben. Unsere Arbeit erstreckt sich über Schlüsselbereiche wie Evolutionsstrategien für Optimierung, transformerbasierte Architekturen und Sprachmodelle. Durch die Integration dieser Technologien wollen wir die Grenzen des maschinellen Lernens und der KI-Systeme erweitern. Begleiten Sie uns bei der Erforschung der Zukunft der Computational Intelligence und des Weges zur Allgemeinen Künstlichen Intelligenz (AGI).

Forschungsthemen

• Kognitive Modelle für große Sprachmodelle (LLMs)
• LLMs und evolutionäre Algorithmen
• Evolutionsstrategien (Bio-inspirierte Optimierung)
• Protein-Sprachmodelle und evolutionäres Moleküldesign
• Dimensionsreduktion
• Erneuerbare Energien und maschinelles Lernen
• Adversariale Angriffe

Von der CI-Gruppe entwickelte Algorithmen

• Cognitive Prompting (für menschenähnliches „Denken“ in LLMs)
• Evolution Path Bias (für Evolutionsstrategien)
• Unsupervised Nearest Neighbors (ein Algorithmus zur Dimensionsreduktion)
• Transformers zur Generierung von Molekülen
• Rake Selection (evolutionäre mehrkriterielle Optimierung)
• Two Sexes Evolution Strategy (evolutionäre Restriktionsbehandlung)

AGI-Forschung: Cognitive Prompting

Cognitive Prompting ist ein neuartiger Ansatz, um Problemlösungen in großen Sprachmodellen (LLMs) durch strukturierte, menschenähnliche kognitive Operationen wie Zielklärung, Zerlegung, Filterung, Abstraktion und Mustererkennung zu leiten. Durch systematisches, schrittweises Denken ermöglicht Cognitive Prompting LLMs, komplexe, mehrstufige Aufgaben effizienter zu bewältigen. Wir stellen drei Varianten vor: eine deterministische Abfolge kognitiver Operationen, eine selbstadaptive Variante, bei der das LLM die Sequenz der kognitiven Operationen dynamisch auswählt, und eine hybride Variante, die generierte korrekte Lösungen als Few-Shot-Chain-of-Thought-Prompts verwendet. Experimente mit den Modellen LLaMA, Gemma~2 und Qwen in jeweils zwei Größen auf dem Benchmark GSM8K für arithmetisches Denken zeigen, dass Cognitive Prompting die Leistung im Vergleich zu standardmäßigen Frage-Antwort-Verfahren erheblich verbessert.

Link zum Paper.
Weitere Paper des CI Labs.

AGI-Forschung: Conceptual Metaphor Theory als Prompting-Paradigma für große Sprachmodelle

Die Konzeptuelle Metapherntheorie (Conceptual Metaphor Theory, CMT) kann als Rahmenwerk genutzt werden, um große Sprachmodelle (Large Language Models, LLMs) durch kognitives Prompting bei komplexen Denkaufgaben zu verbessern. CMT nutzt metaphorische Zuordnungen, um abstraktes Denken zu strukturieren, wodurch die Fähigkeit der Modelle zur Verarbeitung und Erklärung komplexer Konzepte verbessert wird. Durch die Integration von CMT-basierten Prompts leiten wir LLMs zu strukturierteren und menschlicheren Denkweisen an. Zur Evaluierung dieses Ansatzes vergleichen wir vier native Modelle (Llama3.2, Phi3, Gemma2 und Mistral) mit ihren CMT-unterstützten Gegenstücken in Benchmark-Aufgaben, die domänenspezifisches Denken, kreatives Einfühlungsvermögen und Metapherninterpretation umfassen. Die Antworten wurden automatisch mit dem Llama3.3 70B-Modell bewertet. Experimentelle Ergebnisse zeigen, dass CMT-Prompting die Genauigkeit des Denkens, die Klarheit und die metaphorische Kohärenz signifikant verbessert und die Basismodelle in allen bewerteten Aufgaben übertrifft.

Link zum Paper.

Covid-Forschung: Evolutionäre Multi-Objektiv-Optimierung von SARS-CoV-2-Protease-Inhibitor-Kandidaten

Computergestütztes Medikamentendesign basierend auf künstlicher Intelligenz ist ein aufstrebendes Forschungsgebiet. Zum Zeitpunkt des Schreibens dieses Papers leidet die Welt unter einem Ausbruch des Coronavirus SARS-CoV-2. Ein vielversprechender Weg, die Virusreplikation zu stoppen, ist die Protease-Inhibition. Wir schlagen einen evolutionären Multi-Objektiv-Algorithmus (EMOA) vor, um potenzielle Protease-Inhibitoren für die Hauptprotease von SARS-CoV-2 zu entwerfen. Basierend auf der SELFIES-Repräsentation maximiert der EMOA die Bindung von Kandidatenliganden an das Protein mit dem Docking-Tool QuickVina 2, wobei gleichzeitig weitere Ziele wie Arzneimitteleignung oder die Erfüllung von Filterbedingungen berücksichtigt werden. Der experimentelle Teil analysiert den evolutionären Prozess und diskutiert die Inhibitor-Kandidaten.

Link zum Paper

Forschung: Eine schnelle und einfache Evolutionsstrategie mit Kovarianzmatrix-Schätzung

Mit dem Aufstieg von KI-Methoden steigt die Nachfrage nach effizienten Optimierungsverfahren, die einfach zu implementieren und anzuwenden sind. Dieses Paper stellt eine einfache Optimierungsmethode für numerische Blackbox-Optimierung vor. Es wird vorgeschlagen, die Kovarianzmatrixschätzung für die (1+1)-ES mit Rechenbergs Schrittweitensteuerung anzuwenden. Experimente auf einem kleinen Satz von Benchmark-Funktionen zeigen, dass der Ansatz seine isotrope Variante übertrifft und eine wettbewerbsfähige Konvergenz bei Problemen mit skalierten und korrelierten Dimensionen ermöglicht.

Link zum Paper

Buch: Genetic Algorithm Essentials

Dieses Buch führt die Leser in genetische Algorithmen (GAs) ein und legt dabei Wert darauf, die behandelten Konzepte, Algorithmen und Anwendungen so verständlich wie möglich zu gestalten. Es vermeidet übermäßigen Formalismus und macht das Thema damit einem breiteren Publikum zugänglich im Vergleich zu Manuskripten, die von Notationen und Gleichungen überladen sind.

Das Buch ist in drei Teile gegliedert: Der erste Teil bietet eine Einführung in GAs, beginnend mit grundlegenden Konzepten wie evolutionären Operatoren, gefolgt von einer Übersicht über Strategien zur Parametereinstellung. Der zweite Teil konzentriert sich auf Lösungsraumvarianten wie multimodale, eingeschränkte und multi-objektive Lösungsräume. Schließlich führt der dritte Teil kurz in theoretische Werkzeuge für GAs, deren Hybridisierung mit maschinellem Lernen sowie vielversprechende Anwendungen ein.

Link zum Buch.

Blog: Towards Data Science Artikel: Einführung in Convolutional Neural Networks

Man könnte sich fragen, warum eine weitere Einführung in Convolutional Neural Networks notwendig ist, wo es doch zahlreiche ähnliche Einführungen im Internet gibt. Dieser Artikel führt den Leser jedoch von den einfachsten neuronalen Netzen, dem Perzeptron, bis hin zu Deep-Learning-Netzwerken wie ResNet und DenseNet in einer hoffentlich verständlichen, aber definitiv prägnanten Weise und deckt viele Grundlagen des Deep Learnings in wenigen Schritten ab. Also, wenn Sie möchten – legen wir los!

Link zum Blog Post.
Alle TDS Blog Posts:

SPIEGEL-Podcast - Moreno+1: „Eine starke KI? Halte ich für wahrscheinlich.“

Der KI-Professor Oliver Kramer arbeitet an Algorithmen, die „menschenähnliche kognitive Leistungen“ zeigen. Er ist überzeugt, dass Maschinen intelligenter werden als Menschen. Das sollten wir bedenken.

Link zum Podcast.

Switch to English version.