Dezentrale OAIster-Alternative mit YaCy
|
In einer Mail an NGC4LIB, einer Mailingliste, in der das Ende des OAIster derzeit heftig debattiert wird, habe ich vorgeschlagen eine dezentrale Alternative mit YaCy aufzubauen.
A lot of people don’t seem to be very happy with OCLCs decision on OAIster. There’s a general problem with centralized services like OAIster. Too much can happen to that single service, and if it’s down it’s down. That’s why I thought about a distributed OA search for some time now and the OAIster decision gave reason to me to ask the YaCy [1] developer Michael Christen if YaCy could be used for such a search. To make it short: he’s quite optimistic.
Right now YaCy is not able to import data via OAI-PMH but that should be possible to realize. Of course there’s still some work to be done, for example the proper implementation of dublin core. On page 2 of http://yacy.net/material/YaCy_LT2009_Flyer_216×303.pdf (in German) you can find an example of the current possibilities of YaCy with dublin core. BTW: It’s SRU compliant.
We’d like to set up a Yacy instance as a proof of concept. In future it should be possible to cluster some of these instances to a large network of open access search engines. Just to mention the name of this mailing list: kind of a “next generation catalog for libraries”, I guess.
Opinions, anyone? Do you think a distributed OA search could be useful?
Kritik, Vorschläge und andere Äußerungen dazu bitte in die Mailingliste oder hier in die Kommentare. Gerne auch direkt per Mail. Hätte solch ein Projekt Zukunft? Was wären die Anforderungen?
Meiner Meinung ist es nicht wirklich sinnvoll, wieder ein weiteres Portal neu zu erfinden. Die Metadaten der weltweit verfügbaren OAI-Medien sollten eigentlich dort präsentiert werden, wo die Nutzer es bereits gewohnt sind zu suchen.
Dadurch würden Open Access Materialien erheblich sichtbarer für die Kunden.
Spezialportale (selbst OAIster) werden nach unserer Erfahrung nur von einem Bruchteil der Nutzer wahrgenommen und sind wenig bekannt.
Eine Integration in die verbundweiten Suchstrukturen würde ich also als folgerichtig und sinnvoll empfinden – meine bisherigen Bemühungen dafür im GBV zu werben, waren allerdings von eher zurückhaltendem Erfolg.
Grundsätzlich existiert weiterhin die Idee, im Sinne eines Proxies OAI-Daten zu aggregieren und diese dann normalisiert anderen anzubieten.
Soweit ich weiß, bietet BASE bereits Daten via SRU im Test an.
Im Rahmen des DRIVER Projektes ist geplant, die dort gesammelten Daten via OAI anderen bereitzustellen. DRIVER hat aber auch nur eine Auswahl von bestimmten Daten – deutschlandweit sind dies lediglich die Metadaten der DINI-zertifizierten Server.
Daher werden wir in Bremen zunächst weiterhin uns interessierende Daten selber sammeln
und im Rahmen der ganz normalen Suche zusammen mit anderen Medien zeigen.
Nicht zu unterschätzen ist allerdings der intellektuelle Aufwand, OAI-Daten selber zu sammeln. Das OAI-”Protokoll” lässt viel Freiraum für “lokale Vielfalt”, was zu erheblichem Aufwand, Email-Verkehr & Nachbearbeitungen führen kann.
Ob dies wirklich empfehlenswerte Randbedingungen für P2P-Lösungen wie YaCy sind?
posted on September 24th, 2009 at 16:42 Uhr
Danke für die schnelle Rückmeldung!
Das sie dort *auch* präsent sein sollten, ist richtig. Allerdings besteht IMHO auch ein Bedarf für eine reine OA-Suche. Sie sind zwar nur einem sehr kleinen Teil der Nutzerschaft bekannt, werden von diesem aber gerne und ausführlich genutzt. Das bibliothekarische Hauptaugenmerk sollte vielleicht nicht auf solchen Portalen liegen, aber zusätzlich haben Sie m.E. auf jeden Fall eine Existenzberechtigung.
Die Mühlen der Verbünde mahlen langsam. Und es ist auf jeden Fall auch eine wichtige Bemühung. Manches ließe sich aber zum jetzigen Zeitpunkt nicht über den GBV realisieren. Eine Volltextsuche zum Beispiel.
Das gilt es herauszufinden. Einfach ist eine solche Lösung sicherlich nicht. Sie hätte aber den Vorteil portiert werden zu können. Wenn also ein YaCy-Betreiber sich die Mühe gemacht hat, könnten andere Betreiber von dessen Arbeit profitieren.
Denn das Problem mit Base ist doch das selbe wie mit OAIster. Base ist schön und gut, aber vielleicht von heute auf morgen tot. Die zugrunde liegende Suchmaschinentechnologie (FAST) ist nicht frei verfügbar, die in Base gesteckte Arbeit wäre also zumindest teilweise für den Papierkorb gewesen.
Eine P2P-Suche, die auf Open-Source-Technologie beruht ist zwar nicht komplett ausfallsicher, jedoch prinzipiell wesentlich zuverlässiger und nachhaltiger als eine auf Closed-Source beruhende Portal-Lösung.
posted on September 25th, 2009 at 7:28 Uhr
[...] kann man man eine dezentrale Alternative zu OAIster schaffen? Bis zum Bibcamp wird vermutlich ein YaCy-Prototyp für die Suche in Dokumentenservern stehen. Das Bibcamp bietet eine hervorragende Gelegenheit, [...]
posted on Oktober 11th, 2009 at 22:40 Uhr