Google kauft Metaweb (Freebase)

Google hat Metaweb übernommen, die unter anderem Freebase betreiben. Freebase soll frei und offen zugänglich bleiben. Eine gute Gelegenheit, mal wieder auf Freebase Parallax hinzuweisen. Wer herumklickend erproben möchte, was dieses ganze Gerede um das Semantic Web soll, dem kann ich einen Besuch sehr empfehlen.

[via Google Blog]

YaCy als Open-Access-Suchmaschine

Im letzten Herbst wünschte ich mir eine dezentrale Alternative zum OAIster. Der YaCy-Entwickler Michael Christen fand die Thematik spannend und teilte mir mit, dass YaCy intern auch schon einige Vorraussetzungen beherrscht, um bibliographische Daten zu bearbeiten, unter anderem den Umgang mit Dublin Core. Im Bibcamp-Blog schrieb ich im Oktober recht optimistisch:

Ein interessante Frage stellt sich aktuell durch die drohende OAIster-Wegschließung: Wie kann man man eine dezentrale Alternative zu OAIster schaffen? Bis zum Bibcamp wird vermutlich ein YaCy-Prototyp für die Suche in Dokumentenservern stehen. Das Bibcamp bietet eine hervorragende Gelegenheit, diesen Prototypen auf Herz und Nieren zu prüfen und vielleicht sogar direkt vor Ort zu verbessern!

Der Prototyp ist da, und werden mehrere YaCysten beim Bibcamp sein, die sicherlich gerne über bibliothekarische Anwendungen von YaCy diskutieren würden. In einer indischen Bibliothek wird es schon für eine digitale Bibliothek eingesetzt, die mehr als 2TB Audio, Video und E-Books und eine HTML-Oberfläche mit über 800.000 Seiten umfasst. Denkbar und sinnvoll wäre eine Anwendung zum Beispiel in Virtuellen Fachbibliotheken. Wenn man sie schon mit viel Aufwand konstruiert und mühsam Webquellen sammelt, könnte man den Index auch anderen zur Verfügung stellen. Und genau dies ist mit YaCy möglich.

Ich habe die neueste Version übrigens mal testweise auf meinem Desktoprechner installiert und innerhalb kürzester Zeit 20 Repositories mit bis zu 35.000 Dokumenten indexiert. Geht ganz einfach, und ist hier erklärt. Für einen Prototypen sehr respektabel, wie ich finde.

DMOZ-Relaunch im März?

Das Open Directory Project DMOZ war mal ein unverzichtbarer Bestandteil des Webs, ein moderierter Webkatalog mit hohem Anspruch an Aktualität und Seriösität. Administratoren für spezielle Kategorien sollten dafür sorgen, dass nur geprüfte, „gute“ Webseiten aufgenommen werden. Dadurch baute sich DMOZ einen sehr guten Ruf auf, der natürlich schwarze SEO-Schafe noch und nöcher anzog. Kürzlich konnte man sogar einen DMOZ-Eintrag (für 87 €!) bei Ebay ersteigern.

Dazu kommt, dass manche Kategorien schon seit Jahren nicht mehr gepflegt wurden.

Nichtsdestotrotz wird die Aufnahme einer Webseite in DMOZ nach wie vor von vielen Ranking-Tools und vielleicht sogar noch von Suchmaschinen als Qualitätsfaktor gewertet. Als Beispiel sei seitwert.de genannt.

Wie Webranking.com nun berichtet, soll (eventuell noch in diesem Monat) ein Relaunch stattfinden.

Wird ein Webkatalog wie DMOZ jedoch überhaupt noch noch benötigt? Die Verschiebung von Webkatalogen zu Suchmaschinen fand vor einigen Jahren statt. Aktuell zieht Facebook zumindest in den USA an Google in puncto generierter Traffic vorbei.

Wenn man möchte, kann man also von vier Phasen der „Webseitenfindung“ ausgehen:

  1. Die persönliche Empfehlung von Webseiten durch Freunde & Bekannte in direkter Kommunikation. Motto: „Guck mal, ich bin beim Surfen auf diese Webseite gestoßen.“
  2. Nachschlagen in Webkatalogen wie z.B. Altavista.
  3. Suchen in Suchmaschinen wie Yahoo oder Google.
  4. Die persönliche Empfehlung von Webseiten über Social Networks wie Facebook & Co.

  1. Die persönliche Empfehlung von Webseiten durch Freunde & Bekannte in direkter Kommunikation. Motto: „Guck mal, ich bin beim Surfen auf diese Webseite gestoßen.“
  2. Nachschlagen in Webkatalogen wie z.B. Yahoo.
  3. Suchen in Suchmaschinen wie Altavista oder Google.
  4. Die persönliche Empfehlung von Webseiten über Social Networks wie Facebook & Co.

Auch wenn sich die Mechanismen geändert haben, ist die Übermittlung von Webfundstücken wieder an ihren Ursprung gelangt. Ein modernes DMOZ müsste sich diesen Gegebenheiten anpassen. Es dürfte also weder Moderatoren noch vorbestimmte Kategorien geben. Beides ist anachronistisch. Ein modernes DMOZ könnte Empfehlungen aus sozialen Netzwerken fischen und stets aktuell in Ad-hoc-Kategorien clustern. Dies entspräche auch dem erklärten Ziel des DMOZ-Projektes:

Anstatt sich dem explosiven Wachstum des Internets entgegenzustellen, stellt das Open Directory Project dem Internet die Mittel zur Verfügung sich selbst zu organisieren. Gleichzeitig mit dem Internet wächst auch die Anzahl der Internet-Bürger. Diese Bürger können jeder einen kleinen Teil des Internets ordnen und das Ergebnis der Gemeinschaft zur Verfügung stellen. Sie sortieren dabei Schlechtes und Unnützes aus und übernehmen nur qualitativ hochwertige Inhalte.

Ich bin gespannt, wie DMOZ in ein paar Wochen aussehen wird.

[via Blogs-optimieren.de]

SuMa-Awards 2010

Auch 2010 wird der SuMa-Award auf’s Neue vergeben.

Mit einem Marktanteil von über 90% hat ein einziger Anbieter in Deutschland das Quasi-Monopol auf den Zugang zu den Informationen im Internet. Welche Nutzerdaten erfasst und für welche Zwecke diese verwendet werden lässt sich nicht nachvollziehen. Von einem freien, pluralistischen und demokratischen Zugang zum Wissen im Netz kann schon lange nicht mehr die Rede sein.

Mit den SuMa Awards wollen wir ein deutliches Zeichen gegen diese Entwicklung setzten und zugleich für Aufklärung sorgen. Der SuMa-eV spricht zusammen mit dem Bundesverband Deutscher Internet-Portale (BDIP) all diejenigen an, die sich mit dem Einfluss digitaler Informationen auf unsere Gesellschaft konstruktiv auseinandersetzen, sei es künstlerisch, wissenschaftlich, journalistisch, pädagogisch, technisch, im familiären Alltag oder auf jede beliebige andere Art und Weise.

Unser Ziel ist es, die Bedeutung der Informationserschließung für die zukünftige Entwicklung unserer Gesellschaft in das Bewusstsein und den Fokus der Öffentlichkeit zu rücken.

Die Verleihung der SuMa Awards unterliegt keiner thematischen Einschränkung. Eingereichte Arbeiten können ihre Botschaft beispielsweise in künstlerischer, wissenschaftlicher, programmierter, literarischer, juristischer oder medialer Form ausdrücken – aufklärend, provokativ, veranschaulichend etc. Beispiele und Inspiration finden Sie unter unseren bisherigen Preisträgern sowie in unserer Projektgalerie.

Jede/r kann sich beteiligen: Reichen Sie Ihre Vorschläge einfach per E-Mail an awards@suma-ev.de ein.

Jeder SuMa-Award ist mit 2000-3000 Euro dotiert. Einsendeschluß ist der 30.6.2010. Auf den SuMa-Seiten gibt es weitere Informationen zur Teilnahme.

Google in China

Nerdcore:

Wenn Ihr nicht grade unter einem Stein lebt, habt ihr mitbekommen, dass offensichtlich die chinesische Regierung eine Cyberattacke gegen Google gefahren und Google dafür die Filter abgeschaltet hat, weshalb auf google.cn nun kritische Ergebnisse zu „Tiananmen“ auftauchen.

In der Tat, die Ergebnisse sind eindeutig, auch wenn ich nicht verstehe, was die Suchmaschinen (Baidu, Google, Yahoo) mir mitteilen wollen.

  1. Interessant ist, dass mit Baidu tatsächlich überhaupt drei Ergebnisse gefunden wurden, von denen zumindest das Erste Menschenrechtsbezug hat.
  2. Kann jemand den Infotext im Screenshot von Yahoo.cn übersetzen?

Technorati-Relaunch 2009

Technorati wurde heute von Grund auf erneuert. Es wurde höchste Zeit, und es kann eigentlich nur besser werden. Was ist neu?

Die Technorati Authority, der Fuchsschwanz der Blogosphäre, wird flexibler. Statt der Backlinks der letzten sechs Monate werden nur noch die eines Monats berücksichtigt.

Because most searches are looking for items less than a month old, we’re going to narrow that window in a similar way.

Dazu kommt eine neue Topical Authority, die nur die Technorati Authority für ein bestimmtest Themengebiet bezeichnet.

Die Suche wurde gewichtet. Es werden nicht mehr die aktuellsten, sondern die „wichtigsten“ Treffer angezeigt. Daumen runter, Technorati. Ich habe die Suchfunktion eigentlich immer dazu genutzt, mir einen aktuellen Überblick über die allerneuesten Beiträge zu einem Thema zu verschaffen.

Leider funktioniert momentan überhaupt nicht viel, daher muss eine ausgiebige Untersuchung der Funktionen erstmal verschoben werden. Mehr Infos gibt es im Technorati-Blog. So wie sich Technorati jetzt darstellt, bleibe ich dabei: Seit dem letzten Relaunch hat sich wenig verbessert. Tschüss Technorati, hallo Twingly!

Dezentrale OAIster-Alternative mit YaCy

In einer Mail an NGC4LIB, einer Mailingliste, in der das Ende des OAIster derzeit heftig debattiert wird, habe ich vorgeschlagen eine dezentrale Alternative mit YaCy aufzubauen.

A lot of people don’t seem to be very happy with OCLCs decision on OAIster. There’s a general problem with centralized services like OAIster. Too much can happen to that single service, and if it’s down it’s down. That’s why I thought about a distributed OA search for some time now and the OAIster decision gave reason to me to ask the YaCy [1] developer Michael Christen if YaCy could be used for such a search. To make it short: he’s quite optimistic.

Right now YaCy is not able to import data via OAI-PMH but that should be possible to realize. Of course there’s still some work to be done, for example the proper implementation of dublin core. On page 2 of http://yacy.net/material/YaCy_LT2009_Flyer_216x303.pdf (in German) you can find an example of the current possibilities of YaCy with dublin core. BTW: It’s SRU compliant.

We’d like to set up a Yacy instance as a proof of concept. In future it should be possible to cluster some of these instances to a large network of open access search engines. Just to mention the name of this mailing list: kind of a „next generation catalog for libraries“, I guess.

Opinions, anyone? Do you think a distributed OA search could be useful?

Kritik, Vorschläge und andere Äußerungen dazu bitte in die Mailingliste oder hier in die Kommentare. Gerne auch direkt per Mail. Hätte solch ein Projekt Zukunft? Was wären die Anforderungen?

OCLC stampft OAIster ein. Was tun?

Klaus Graf machte kürzlich darauf aufmerksam, was OCLC mit OAIster vorhat. Verständlicherweise brach ein Sturm der Entrüstung los. Nun beantwortet Roy Tennant zumindest einige der aufgetretenen Fragen. Ein paar der spannendsten Punkte:

Starting in October, the records will be freely discoverable along with all the other content in WorldCat.org. However, it will not be possible to limit a search to OAIster records alone.

[…]

Contributors of OAIster records can receive free access to the OAIster aggregation in FirstSearch by request. Contributors were recently contacted to offer them such access and many have already responded that they would like to have such access.

Only data providers that request that we not harvest their records will be removed from the aggregation. We feel strongly that one of the main benefits of OAIster has been the aggregation of records from the vast majority of repositories worldwide. Therefore, unless a repository denies us permission to harvest their records, we will seek to include them.

[…]

We are exploring options for machine access. Z39.50 access to OAIster is available to FirstSearch subscribers now, and we are considering whether additional options should be supported. The University of Michigan did not offer an OAI-PMH or Web Services interface, although they did offer an rsync option. Learning the needs of the community will help inform what we do in this area.

Eine höchst unbefriedigende Situation. Es spricht meines Erachtens nichts dagegen, dass der OAIster in irgendwelche OCLC-Produkte eingebunden wird, aber der OAIster oder ein adäquater Nachfolger sollte unbedingt erhalten bleiben. Ist das OCLCs verfrühter Beitrag zur Open-Access-Week?

Im Posting erklärt Tennant noch, wie kompliziert es sei, Metadaten per OAI-PMH zu harvesten. Vielleicht wäre es ja eine Aufgabe für einen oder mehrere Bibliotheksverbünde, eine Schnittstelle zur Verfügung zu stellen, auf die andere Suchdienste aufbauen könnten. Konkret könnte das so aussehen, dass ein Server alle greifbaren Daten aggregiert, normalisiert und zum Beispiel per SRU (nur als Beispiel) durchsuchbar macht oder auch als komplettes Datenpaket zum Download anbietet. Das wäre wirklich ein Fortschritt für die Open-Access-Bewegung. Und der Ausfall einer Suchoberfläche kein Problem mehr, da ruckzuck eine weitere aufgebaut werden könnte.

Erst die Kontroverse über die OCLC-Policy, nun dies. Das Fazit kann nur sein, OCLC nicht mehr Verantwortung und Daten in die Hand zu geben, als unbedingt notwendig ist.

Mit Zoetrope zurück in die Vergangenheit des WWW

Forscher der Universität Washington und der Software-Konzern Adobe haben eine Suchmaschine entwickelt, die die Recherche nach alten Versionen geänderter bzw. nicht mehr auffindbarer Webinhalte ermöglichen soll.
Mit „Zoetrope“, so der Name der Software, lassen sich Webseiten oder auch nur bestimmte Teile eines Dokumentes markieren und deren Veränderung über einen gewissen Zeitrahmen nachvollziehen.

Noch spannender ist die Kombination mehrerer Faktoren: So kann man etwa die Entwicklung des Ölpreises mit dem der Kosten an der Tankstelle in Verbindung setzen und als drittes noch wichtige Nachrichtenereignisse kombinieren, die die preise beeinflussen. Dazu bedarf es nur weniger Mausklicks.

Das System befindet sich momentan noch im Aufbau und speichert derzeit 1000 Seiten pro Stunde aus dem Internet. Voraussichtlich Mitte 2009 soll Zoetrope öffentlich zugänglich sein.
„Zeit, nochmals sich selbst zu googeln, um unerwünschte Treffer entfernen zu können.“ (blogaboutjob)

[via taz]