http://www.wadoku.de/forum/posts/list/2.page JForum - http://www.jforum.net
es ist uns eine Freude eine aktualisierte Version im EPWING¹-Format ankündigen zu dürfen, nachdem die letzte Version aus dem Jahre 2005 stammte.

Es stehen zwei, inhaltlich gleiche, Varianten bereit:
[1] http://www.wadoku.de:81/wadoku_ebz.zip (Download 200 MB, entpackt 202 MB)
[2] http://www.wadoku.de:81/wadoku_epwing.zip (Download 160 MB, entpackt 605 MB)

Variante [1] enthält eine komprimierte Version, die auf der Festplatte weniger Platz einnimmet, allerdings nicht mit Jamming² kompatibel ist. Deswegen steht auch die unkomprimierte Variante [2] zur Verfügung, welche keine Probleme mit Jamming hat.

Die Konvertierung der Wörterbuch-Daten ins EPWING-Format wurde freundlicherweise von Herrn Thomas König im Rahmen eines Praktikums erledigt.
Ganz, ganz herzlichen Dank für diese hervorragende Arbeit!


Weitere Informationen zum EPWING-Format und entsprechender Software findet sich auch unter folgender Adresse:
http://www.hloeffler.info/epwing/epwing_format.html


Euer Wadoku-Team




Fussnoten:
¹ ist ein japanischer Standard für elektronische Wörterbücher (basierend auf JIS X 4081, http://ja.wikipedia.org/wiki/EPWING)
² Jamming ist eine Wörterbuchsoftware (Shareware) für Windows und MacOS, die EPWING unterstützt (http://dicwizard.jp/jamming.html)
]]> http://www.wadoku.de/forum/posts/preList/825/6363.page http://www.wadoku.de/forum/posts/preList/825/6363.page GMT
ich habe nur eine kleine frage dazu. füge ich die neue version in mein ipod touch (mit idic) ein, bekomme ich nicht die suchergebnisse, die man sonst erwartet. das programm jamming für mac os bringt das gleiche ergebnis. zur veranschaulichung füge ich mal folgenden screenshot an:

[img]http://s2b.directupload.net/images/090127/2uv49t76.png[/img]

normalerweise würde ich links in der liste erstmal alle dt. wörter erwarten, die mit reise etwas zu tun haben. dann im rechten feld die japanische übersetzung. mit meiner alten wadoku epwing-datei funktioniert das auch so.

bin für jeden ratschlag dankbar!]]> http://www.wadoku.de/forum/posts/preList/825/6480.page http://www.wadoku.de/forum/posts/preList/825/6480.page GMT
Die Version, die du meinst, wurde von jemand anderem erstellt. In der alten Version von 2005, die du auf diesen Seiten findest, war, wenn ich mich recht erinnere, überhaupt keine Suche nach deutschen Wörtern möglich.

Insofern schon ein kleiner Fortschritt angesichts des Fehlens eines Deutsch->Japanisch Wörterbuches.]]> http://www.wadoku.de/forum/posts/preList/825/6492.page http://www.wadoku.de/forum/posts/preList/825/6492.page GMT
Soweit ich mich erinnern kann, wurde die Version - auf die meronpan anspielt - "ausserhalb" des WaDoku-Projekts erstellt. Bei der aktuellen Version wird dieses Feature in den nächsten Versionen ebenfalls nachgereicht. De facto fehlt ja eigentlich nur die Visualisierung der Ergebnisse mit Sprachrichtung Deutsch-> Japanisch im Ergebnisfenster. Aber recht hat er, ich werd mir das mal genauer ansehen, wie ich das beheben kann. Ist glaub ich nicht wirklich ein großes Problem.

Überhaupt zu der Möglichkeit einer Suche in Richtung Deutsch->Japanisch:

Im Moment gibt es in der aktuellen Version zwei Ansätze die Deutsch-Suche zu realisieren. Der eine greift ganz einfach die verschiedenen Suchmodi, welches das EPWING-Format bereitstellt, auf. So wird beim Erstellen des normalen Such-Index auch ein Vollindex erstellt, der die kompletten Records erfasst & bei Vorhandensein einer Volltextsuche in der Software selbst eine Suche nach diesen ermöglicht. (daher auch die "aufgeblähte" WaDoku)

Der zweite Ansatz bedient sich der in der WaDoku-Source-Datei vorhandenen deutschen Schlagworte. Für diese wurde - in diesem Fall des japanischen Suchindex ähnlich - ein eigener Suchindex erstellt; ein erster Schritt in Richtung DokuWa-Jiten. Jedoch hat dieser deutsche Index in der Source-Datei einen Nachteil: Es gibt keine logischen Begrenzer zwischen einzelnen Worten und Wortgruppen, so dass man einzelne Worte und Wortgruppen nicht gezielt getrennt von einander indexieren kann. Die Folge: Um wirklich alles in den deutschen Index einzuflegen, muss ein überaus großer Overhead an Index-Einträgen erstellt werden. Dieser kann bei einer vollständigen Indexierung zu diesem Zeitpunkt so groß werden, dass schlichtweg die Grenzen des EPWING-Formats erreicht werden. Daher wird in der aktuellen Version auch nur ein "beschnittener" Index für die deutsche Sprache verwandt. Um also in Richtung einer eigenständigen DokuWa-Version voranzuschreiten, muss zunächst der Deutsch-Index in der Source-Datei manuell "korregiert" und nachbearbeitet werden. Dies ist allerdings erst möglich, wenn die zur Zeit laufende Migrierung von Web-Wadoku und Source-Datei abgeschlossen ist.
Ist dieser Vorgang abgeschlossen, werde ich mich der notwendigen Arbeiten annehmen und es wird es auch eine neue Version der WaDoku geben, dann wahrscheinlich auch mit einer eigenständigen DokuWa-Version, die allerdings nach wie vor der jap->dt. Version um Welten hinterher hinken wird.

In diesem Sinne ...
]]> http://www.wadoku.de/forum/posts/preList/825/6512.page http://www.wadoku.de/forum/posts/preList/825/6512.page GMT

Zum Betrachten der Datei auf dem Mac eignet sich auch kotonoko (http://www.afternooncafe.jp/kotonoko/).
Ist Freeware und läuft bis jetzt einwandfrei.
Falls jemand mit den japanisch bezeichneten Knöpfen nicht zurecht kommt: Einfach mal probieren; musste ich auch
Nicht vergessen, unter Pref den Pfad für die wadoku-Daten anzugeben.

Viel Spass]]> http://www.wadoku.de/forum/posts/preList/825/6515.page http://www.wadoku.de/forum/posts/preList/825/6515.page GMT
Auf der Basis seines Codes sollte man doch sehr einfach auch eine edict-Version erzeugen können. Ist das schon geplant? Sonst würde ich das gerne übernehmen. An wen muß ich mich wenden?]]> http://www.wadoku.de/forum/posts/preList/825/6556.page http://www.wadoku.de/forum/posts/preList/825/6556.page GMT
PS: Ulrike, ich habe dir auch gerade eine PM geschrieben ]]> http://www.wadoku.de/forum/posts/preList/825/6557.page http://www.wadoku.de/forum/posts/preList/825/6557.page GMT
Es gibt dort einige Probleme bei der Darstellung (z.B. in ebview oder DDWin). Es wird aber nach einer Lösung dafür gesucht.]]> http://www.wadoku.de/forum/posts/preList/825/6575.page http://www.wadoku.de/forum/posts/preList/825/6575.page GMT
Ich wollte nichts desto trotz nachfragen, wie es mit der fehlerbereinigten Version aussieht. Da ich ebview benutze, kommt es bei mir zu den unten genannten Darstellungsfehlern und wie es scheint, wollte man daran arbeiten.

MFG]]> http://www.wadoku.de/forum/posts/preList/825/7140.page http://www.wadoku.de/forum/posts/preList/825/7140.page GMT Thomas]]> http://www.wadoku.de/forum/posts/preList/825/7143.page http://www.wadoku.de/forum/posts/preList/825/7143.page GMT
Danke und Gruss,
Chris]]> http://www.wadoku.de/forum/posts/preList/825/7217.page http://www.wadoku.de/forum/posts/preList/825/7217.page GMT Befrage mal google ... ansonsten sollte ja auch noch der SQL-Dump im Downloadbereich angeboten werden. (Stand 2006, aber immerhin besser als 2003), daraus kannst du dir ja auch ohne Probleme entsprechende Datei ziehen.

ttkman
]]> http://www.wadoku.de/forum/posts/preList/825/7218.page http://www.wadoku.de/forum/posts/preList/825/7218.page GMT ]]> http://www.wadoku.de/forum/posts/preList/825/7219.page http://www.wadoku.de/forum/posts/preList/825/7219.page GMT

Zumindest sollte man aus ihr recht einfach ein CSV-Format basteln können.

EDIT: Link gefixt.]]> http://www.wadoku.de/forum/posts/preList/825/7220.page http://www.wadoku.de/forum/posts/preList/825/7220.page GMT - Wo befindet sich denn die aktuelle EDICT-Datei? Im Bereich "Links" finde ich (noch?) nichts.
- Ein neuer Dump wäre super, wenn das aber nicht geht/gewünscht ist, würde ich den von 2006 nehmen. Ist aber irgendwie doch schade, oder? Ein konsistenter Stand aus EPWING, EDICT, DUMP und CSV wäre schön.

PS: Auf dem Web findet man irgeandwo PDICCONV, ein "EPWING nach EDICT"-Konversionsscript in Perl, hab' ich aber nicht zum laufen gebracht.

Gruss,
Chris]]> http://www.wadoku.de/forum/posts/preList/825/7221.page http://www.wadoku.de/forum/posts/preList/825/7221.page GMT Sonst nochmal hier http://www.wadoku.de/forum/posts/list/865.page]]> http://www.wadoku.de/forum/posts/preList/825/7222.page http://www.wadoku.de/forum/posts/preList/825/7222.page GMT
create table wadoku (pattern varchar(1000) not null,
reading varchar(100) not null,
translation varchar(1000) not null)
character set utf8 collate utf8_general_ci;

load data infile 'C:\\dein_verzeichnis\\wadoku.csv' into table wadoku character set utf8 fields terminated by ',';

in eine MySql Datenbank geladen werden kann. Falls es mehrere Ausdrücke oder Übersetzungen gibt, sind diese mit dem Zeichen "|" voneinander getrennt (man kann dieses Trennzeichen aber auch gerne durch ein anderes ersetzten). Ein echtes Komma ist mit "\" escaped.

Ich habe leider keinen Web Space: wenn jemand die Datei (10 MB) möchte, kann ich sie gerne irgendwohin hochladen.

Viele Grüsse,
Chris
]]> http://www.wadoku.de/forum/posts/preList/825/7225.page http://www.wadoku.de/forum/posts/preList/825/7225.page GMT Es wäre wirklich schön, wenn die Daten des WaDoKu in größerer Detailfülle und einfacher erschließbar verfügbar gemacht werden könnten.

Schöne Grüße
Jay


PS: Man sehe mir bitte nach, dass mein erster Beitrag im Forum gleich einen Wunsch darstellt ]]> http://www.wadoku.de/forum/posts/preList/825/7244.page http://www.wadoku.de/forum/posts/preList/825/7244.page GMT
das EPWING format ist echt nicht so gut, nur für PPC oder änliche devices...

solange also die export funktionen noch nicht fertig sind wäre es doch am einfachsten ein relativ aktuellen sql dump zu verfügung zu stellen, da es ja auch am wenigsten aufwand macht es zu erstellen (is ja eh schon in einer SQL datenbank).

Mfg
Boscowitch ]]> http://www.wadoku.de/forum/posts/preList/825/7281.page http://www.wadoku.de/forum/posts/preList/825/7281.page GMT
Leider gibt es irgendwelche Probleme mit den gaiji. Sobald man in Wadoku sucht, bekommt man fortwährend eine Fehlermeldung "cannot find 24 dot gaiji. Use 16 dot instead". Klickt man die Fehlermeldung weg, dann kommt direkt die nächste.
Gibt es Pläne, an einer verbesserten Version mit EPWING zu arbeiten? Ich könnte mir gut vorstellen, daß die Probleme bei DDWin ähnliche Ursachen haben.

Das Problem ist, daß unter Linux EBView eigentlich der einzig vernünftig nutzbare EPWING-Viewer ist. Andere Viewer sind veraltet und werden nicht mehr maintaint, oder einfach so kryptisch und schwierig zu installieren (eblokup/Emacs oder Vim, massig Probleme mit japanischer Anzeige und Eingabe), daß es sich nicht lohnt. Wine ziert sich auch, zwar nicht bei der Darstellung, jedoch bei der Eingabe von Japanisch.

]]> http://www.wadoku.de/forum/posts/preList/825/8232.page http://www.wadoku.de/forum/posts/preList/825/8232.page GMT ich hab mir für linux ein set von tools und formaten gemacht,
auserdem ist die version von wadoku bei denen sogar aktueller

1.Gjiten format http://www.wadoku.de/forum/posts/list/1097.page
2.Für Stardict http://www.wadoku.de/forum/posts/list/1116.page (und falls installier erkenn es auch Goldendict http://www.wadoku.de/forum/posts/list/1118.page)


dann noch nicht wörterbücher aber hilfreiche tools zu lernen:
1. Random Wadoku Screenlet Widget für den Desktop http://www.wadoku.de/forum/posts/list/1127.page
2. Wadoku Notify sucht automamtisch nach jedem makierten text in einer lokalen wadoku datenbank und zeigts blitzschnell an (je nach rechner leistung) http://www.wadoku.de/forum/posts/list/1141.page

appropo alle software ist im ubuntu per repository installierbar,
gjiten
stardict (qstardicto oder auch eine gtk version)
screenlets

gruß Boscowitch

edit:äh ja gehirnknoten danke für die korrektur. und natürlich wäre ne EPWING version die korrekt ist kein verlust ich bin der erste der dafür ist noch mehr formate zu unterstüzen.

Das einzige ist halt das die Suchergebnissreihenfolge bei EPWING meist nicht sehr toll sind, momentan arbeit ich an einer idee das offline noch zu verbessern vieleicht eine software in der man die Reihenfolge korrigieren kann.
Dann die Daten wieder speichert von denen man dann eine epwing usw machen kann.
Auserdem hat sich als sehr gut erwisen die Suchergebnisse nach länge der Lesung aufsteigend (ohne sonder Zeichen) zu sortiere.

Fals sich jemand mit der EPWING library auskennt immer her mit euch ]]> http://www.wadoku.de/forum/posts/preList/825/8233.page http://www.wadoku.de/forum/posts/preList/825/8233.page GMT Du meist sicher EPWING, bitte nicht verwechseln Und wenn man schon andere Wörterbücher in diesem Format hat - EPWING ist ein japanischer (Wörterbuch)-Standard - liegt es doch nahe, nicht extra eine weitere Anwendung installieren zu wollen.

[quote=irgendwer]Leider gibt es irgendwelche Probleme mit den gaiji.[/quote]
Das ist ein Problem mit den EPWING-Daten. Da ist beim Konvertieren wohl ein kleiner Fehler passiert. Am Viewer liegt es nicht.]]> http://www.wadoku.de/forum/posts/preList/825/8235.page http://www.wadoku.de/forum/posts/preList/825/8235.page GMT [/quote]

Ja - alle kommerziellen Wörterbücher (Crown Dokuwa, Consaizu Wadoku, Daijirin), die ich besitze, sind im EPWING-Format. Deshalb ist es ja so interessant, Wadoku.de im EPWING-Format zu bekommen, weil EPWING die einzige Möglichkeit ist, die verschiedenen kommerziellen Wörterbücher mit Wadoku.de in einer Viewer-Software zu benutzen.

[quote=irgendwer]
Gibt es Pläne, an einer verbesserten Version mit EPWING zu arbeiten?
[/quote]

Da darauf nicht geantwortet wurde, nehme ich dann mal an, die Antwort ist leider "Nein". Schade. Vielleicht, wenn Ihr den nächstens Praktikanten bekommt ]]> http://www.wadoku.de/forum/posts/preList/825/8263.page http://www.wadoku.de/forum/posts/preList/825/8263.page GMT
momentan schein ich so der einzige zu sein der im bereich wadoku auf PC ect. arbeitet, also wenn ich irgendwann mal zeit hab dann ....

na ja ich setz es mal auf meine ellenlange todo liste, leider is halt auch noch die uni da die mir dauernd aufgaben gibt wozu eigentlcih keiner ne lösung will ]]> http://www.wadoku.de/forum/posts/preList/825/8265.page http://www.wadoku.de/forum/posts/preList/825/8265.page GMT
Ich habe mal heute selbst eine EPWING-Version erstellt, basierend auf dem neuesten EDICT-Dump und

hier auf rapidshare hochgeladen...: http://rapidshare.com/files/386073953/wadoku.zip.html

Wer will, kann da gerne mal mit rumspielen; ich hoffe auch, daß ist im Sinne der Lizenz.

Die Fehler bezüglich der Gaiji sind jetzt gelöst, zumindestens funktioniert das hier mit EBView und EBWin, jedoch sind die _Suchergebnisse_ nicht mehr so schön sortiert und gruppiert. Zum einen war meine Aufbereitung der Daten wahrscheinlich etwas schlampig (ein paar zusammengehackte RegExps), zum anderen nutzte ich eine unregistrierte Version von EBStudio, so daß nicht alle Indizes erstellt werden konnten, was die Suche einschränkt.

Bei letzterem bin ich mir bzgl. der Lizenz auch nicht so sicher, und ob ich das damit erstellte Wörterbuch hier überhaupt posten darf...

Es sind sicher auch zahlreiche Fehler drin, da daß Quellmaterial ja evtl. Fehler hat (siehe Thread) und ich einfach RegExps benutzt habe, im Vertrauen, daß das schon paßt...

Mich würde interessieren, wie die Person vorher die EPWING-Version erstellt hat. Da bei EPStudio Gaiji-Maps für die üblichen europäischen Zeichen (also Umlaute) mitgeliefert werden, wäre es interessant, das in den vorher benutzten Weg miteinzubinden (Umlaute), bzw. nicht-darstellebare Zeichen zuerst aus dem Quellmaterial zu entfernen (nicht unbedingt benötigte Sonderzeichen). Wenn ich mir das Resultat so anschaue, denke ich, der vorherige Ersteller hat einen ähnlichen Weg benutzt, aber im Quellmaterial einfach an manchen Stellen Sonderzeichen, die nicht in der JIS-Spezifikation sind, nicht entfernt bzw. auch keine gaiji-maps erstellt... Ich denke, wenn der ursprüngliche Weg im Sinne eines Skriptes etc. einfach reproduzierbar wäre, wäre es ein nicht so großer Aufwand, daß zu verändern.

(sorry wenn ich damit so nerve, aber das Crown 独和 zusammen mit wadoku.de und Daijirin ist sehr sehr praktisch ...)

EDIT (auf ein drittes): Ich denke es wäre sicherlich möglich, eine schönere EPWING-Version zu basteln wenn besseres Ausgangsmaterial vorhanden wäre - die EDICT Version ist doch sehr primitiv. Gibt es noch irgendwo aktuelle SQL-Dumps oder halt irgendwas, wo man mehr oder weniger einfach 'nen Parser (Perl oder besser gleich lex) für basteln kann?]]> http://www.wadoku.de/forum/posts/preList/825/8344.page http://www.wadoku.de/forum/posts/preList/825/8344.page GMT
- die momentane EPWING - Version (200 ist defekt. Das ist besonders problematisch, weil
1.) es keine vernünftige Reader-software für Linux gibt, die damit umgehen kann
2.) man ohne EPWING - Version nicht in multiplen Wörterbüchern gleichzeitig suchen kann
3.) bisher für ANDROID die einzige Möglichkeit Wadoku vernünftig zu nutzen die Software Droidwing ist, die jedoch öfter mal abstürzt wg. der defekten EPWING Version.

Kurzum: Fast sämtliche Software, die auf der Bibliothek eblib/libeb aufbaut, bekommt Probleme und das sind fast alle (freien/linuxbasierten) EPWING-reader

Das ist besonders schade, weil die Einträge der neuen EPWING-Version offenbar mit viel Sorgfalt gemacht wurden (was Zusatzinformationen und Beispielsätze angeht).

Es wäre daher sehr sehr hilfreich wenn

- jemand vom Wadoku - Team eine neue EPWING Version bereitstellt
- jemand vom Wadoku - Team irgendeine Version bereitstellt, z.B. einen SQL-Dump etc., bei dem nicht derartig viele Informationen fehlen wie bei dem aktuellen EDICT-Dump. Das EDICT-Format ist einfach extrem beschränkt. Auf Basis dessen könnten dann andere Nutzer (ich persönlich würde mich zumindestens bemühen, was ordentliches hinzukriegen) eine neue EPWING-Version erstellen.

Es wäre noch viel viel hilfreicher wenn
- jemand die FreePWING-Skripte (ich nehme an FreePWING wurde benutzt, zumindestens laut Readme in der 2005er EPWING-Version) zur Verfügung stellen würde, denn dann müsste man bei der Konvertierung nicht bei 0 anfangen, sondern könnte sich darauf konzentrieren die Bugs der aktuellen EPWING-Version zu beheben.

Überhaupt wäre es nett, die ganzen Änderungen (ist ja auch schon 2 Jahre her) mal in einer aktuellen Version zu haben.

Ich helfe gerne aus und unterstützte wo ich kann, wobei ich trotz Perl-Kenntnissen noch keinen rechten Durchblick über die FreePWING Bibliothek habe, da die ganze Doku in Japanisch...]]> http://www.wadoku.de/forum/posts/preList/825/8908.page http://www.wadoku.de/forum/posts/preList/825/8908.page GMT
<snip>

Ich helfe gerne aus und unterstützte wo ich kann, wobei ich trotz Perl-Kenntnissen noch keinen rechten Durchblick über die FreePWING Bibliothek habe, da die ganze Doku in Japanisch...[/quote]

Frage ans Wadoku - Team:

Hat irgendwer keine Antwort verdient? (Ein "Wir haben gerade keine Zeit, uns um dieses Problem zu kuemmern." wuerde vielleicht schon reichen.)

niremori]]> http://www.wadoku.de/forum/posts/preList/825/8916.page http://www.wadoku.de/forum/posts/preList/825/8916.page GMT
Leider kann ich auch nur sagen, dass ich nicht viel mehr zur letzten EPWING-Version weiß, als irgendwer.

Nichtsdestotrotz habe ich eigentlich recht erfolgreich am Wochenende ein wenig mit eb4j herumgespielt. Die grundsätzliche Vorgehensweise ist somit klar, diese muss "nur" in einen entsprechenden Algorithmus gebracht werden…

Das Ganze wird allerdings Zeit kosten, vor allem wegen der Gaiji, aber auch wegen der einzusetzenden Formatierung und den Links zwischen den Einträgen, da ich da ebenso bei Null anfangen muss. Bei EDICT fällt das ja unter den Tisch.

Ansonsten steht zu beachten, dass noch etwa 38.000 Einträge bearbeitet werden müssen, einmal wegen der Form und eventueller Verlinkungen. In einer Stunde schafft man je nach Aufwand so 20-50 Einträge. Also könnt ihr euch ausrechnen, wie lange das etwa dauern wird. Ein erste Möglichkeit dabei ist natürlich, diese Einträge beim Export auszulassen.]]> http://www.wadoku.de/forum/posts/preList/825/8917.page http://www.wadoku.de/forum/posts/preList/825/8917.page GMT
wie schon gesagt: Wenn die Zeit knapp ist: Fall ein SQL - Dump oder irgendetwas "parse"-bares da ist, bastel' ich gerne einen Parser, der das ganze in ein XML - File umwandelt, welches von EBStudio oder eb4j akzeptiert wird (das bei eb4j auch mit XML2EB ein Tool zum Erstellen von Büchern dabei ist, hatte ich bisher übersehen). Falls das Wadoku-Team schon gewisse Vorstellungen was die Aufbereitung der Daten angeht hat, versuche ich das gerne miteinzubinden.
Wenn 38000 unbearbeitete Einträge da sind, ist das sicherlich nicht schön und man sollte die vielleicht erstmal auslassen, aber: solange sich das ursprüngliche Datenformat (ich nehme an, das "Herz" von wadoku ist einfach SQL und neue Einträge etc. kommen zunächst mal auf den Webserver?!) sich nicht ändert, funktioniert ein einmal entwickelter Parser auch später, wenn die Einträge nach und nach abgearbeitet werden.

Ich hoffe, das Folgende klingt nicht zu angreifend/vorwurfsvoll, da ich die ehrenamtliche Arbeit der zahlreichen Mitarbeiter und Unterstützter von Wadoku nicht schmälern möchte, aber:

Ich kann verstehen, wenn Wadoku nicht so gern SQL-Dumps zur Verfügung stellen möchte (mögliche Forks des Projektes etc., Problematik der Verwendung der Daten in kommerziellen Projekten) aber nur als Hinweis: Es gibt eine Menge fähiger Menschen die Umwandlung in die unzähligen Formate die so existieren (EPWING, EDICT, OSX-Wörterbuch, Stardict etc. etc.) sicherlich _für Wadoku_ erledigen würden, wenn sie nur irgendwie anfangen könnten Oder um es anders zu sagen: Wenn besseres Rohdatenmaterial da wäre, hätte ich sicherlich schon vor fünf Monaten angefangen einen Parser zu basteln

Im Moment ist es einfach sehr schade, daß die neueste, nutzbare offline-Version von Wadoku eine 2 Jahre alte edict-Version ist.]]> http://www.wadoku.de/forum/posts/preList/825/8919.page http://www.wadoku.de/forum/posts/preList/825/8919.page GMT http://www.wadoku.de/forum/posts/preList/825/8924.page http://www.wadoku.de/forum/posts/preList/825/8924.page GMT
irgendwer: Die Daten in irgendwas anderes zu wandeln ist nicht das Problem. Der größte Aufwand ist die Pflege der Daten. Und wenn man die unbearbeiteten Daten ausläßt, bleibt eigentlich nur vergleichsweise(!) wenig neues übrig, so dass das den Nutzern auch nicht viel mehr bringen dürfte als eine Datei mit neuerem Datum.

Ich denke gerade über folgendes nach, was ja nun einfacher ist, nach der Konsolidierung der Daten in der neuen Wadoku-Version (vorher waren die Daten ja über die neue und alte Version verteilt): Ich denke, es könnte zum Jahresende (das sollte genug Zeit zur Vorbereitung lassen) neue Versionen der Daten gibt. In welcher Form ist zu klären, wohl wieder EDICT, EPWING und die Rohdaten im existierenden XML-Format.]]> http://www.wadoku.de/forum/posts/preList/825/8931.page http://www.wadoku.de/forum/posts/preList/825/8931.page GMT
Downloadbar hier:

http://www.megaupload.com/?d=5F2X92NB

Das ganze ist als Beta anzusehen. Es gibt noch einige Dinge zu verbessern.
Die Version sollte aber voll funktionsfähig sein. Da ich in nächster Zeit
sehr beschäftigt bin, dachte ich, es ist besser die momentante Version
einfach hochzuladen - besser als keine.

Es wäre nett, wenn Interessierte das auf ihrerm Lieblingsreader ausprobieren
und Fehler hier berichten würden.

Falls die Version sich als halbwegs stabil herausstellen würde, wäre es toll
wenn man die Version (markiert als Beta) auf die Downloadseite stellen könnte -
diese Fileuploader sind ja eher eine Notlösung.

Die Umwandlungsskripte sind hier auf github:

https://github.com/irgendw3r/wadokuepwing

(Code ist sehr ... kitanai, gomen ne


Known Bugs/todo - Liste

- für ca. 290 Unicodezeichen gibt es keine direkten ShiftJIS-Enstprechungen.
Es handelt sich dabei meist um nicht-joyou Kanji, einzelne Radikale und
CJK-unifizierte Zeichen. Zur Zeit steht im Wörterbuch anstatt eines solchen
Zeichens schlicht die unicode-Nummer in Hex. Dementsprechend sind solche Einträge
auch nicht indiziert. Für diese Zeichen müssen entweder Gaiji-Bitmaps
erstellt werden - dann sind sie aber ebenfalls nicht indizierbar. Oder so hoffe ich,
gibt es doch sinnvolle ShiftJIS-Pendants, die in den offizellen Empfehlungen
ftp://ftp.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/SHIFTJIS.TXT
nicht aufgeführt sind. Leider ist das schlecht automatisierbar.

- Links innerhalb dieser EPWing-version funktionieren nicht. Man muss das Wort
auf das verlinkt wird manuell markieren und danach suchen

- Es werden derzeit nicht alle Informationen der Einträge verarbeitet. Das Parsen
des Wadoku XML ist schon recht komplex (und manchmal auch ein bisschen komisch:
z.B. ist mir nicht ganz klar wieso Einträge mit so leicht kryptischen
Infos wie △ etc. markiert werden statt XML-Tags zu verwenden.
Auch bin ich mir nicht sicher, wofür ' inmitten von Lesungen stehen... ich habe
dazu im Wiki nichts gefunden...)
Ich habe schlicht system's konverter für das MacDic benutzt.
Zuerst hatte ich ein xslt geschrieben... was aber einfach zu langsam war.
Ehrlich gesagt, scheint mir XSLT nach groben Überfliegen von
http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5273945
nicht ganz unproblematisch für Wadoku.
Summa sumarum, es gibt im Moment leider nur Hiragana, Kanji und Bedeutung.

- Formatierung der Einträge.
Wadoku leidet ja stark unter Komposita, imho sind es für eine EPWING-Version
fast schon zu viele. Man sieht das ja auch, wenn man auf der Hauptseite z.B.
nach 日本語 sucht und mehr als 40 Einträge bekommt. In anderen Wörterbüchern steht
noch nicht einmal 日本語 drin, sondern nur 日本 und 語.
Ich werde versuchen in Zukunft diese Komposita in einen Eintrag zu verfrachten.
Die Frage ist, ob man dann solche Komposita indiziert (um dann wieder so viele
Suchergebnisse zu haben) oder einfach nicht indiziert...


]]> http://www.wadoku.de/forum/posts/preList/825/9727.page http://www.wadoku.de/forum/posts/preList/825/9727.page GMT Die Datei ist auf dem Server gespiegelt ([url=http://www.wadoku.de:81/downloads/epwing/wadoku_epwing_jan2012.zip]Link[/url]) und unter http://www.wadoku.de/wiki/display/WAD/Downloads+und+Links eingetragen.

Ein Parsen per Skript ist immer aufwendiger als eine Umwandlung per XSLT. Deswegen fände ich es gut, wenn du deine XSLT-Datei ebenfalls zu den Skripten tun könntest. Wie schon geschrieben, ist das Umwandeln der XML-Daten per XSLT am Stück mit Saxon-EE kein Problem, die Umwandlung ist mit 1GB Speicher für die JVM in unter einer Minute erledigt, anstelle der sonstigen ca. 230 Minuten.

Was die Komposita angeht, sehe ich da kein Problem, Kenkyushas 新和英大辞典 ist noch umfangreicher.]]> http://www.wadoku.de/forum/posts/preList/825/9729.page http://www.wadoku.de/forum/posts/preList/825/9729.page GMT
Eine mögliche Alternative wäre STX, damit habe ich mir aber noch nicht beschäftigt.

XSLT mag sehr praktische für den Server sein, und auch um damit automatisiert dann halbjährlich Konvertierungen durchzuführen. Aber
1.) es wird für EPWING sowieso immer viel händische Nacharbeit nötig sein (wg. Unicode <-> SJIS),
2.) XSLT ist wg. der Performanceprobleme für irgendwelche Third-Party Entwickler unmöglich zu benutzen. Falls jemand einen freien + schnellen XSLT-Prozessor kennt, her damit!

Ich werde mal schauen, was sich machen läßt.

[quote=Dan]
Was die Komposita angeht, sehe ich da kein Problem, Kenkyushas 新和英大辞典 ist noch umfangreicher.[/quote]

EBPocket blockiert teilweise >10s bei manchen Anfragen (HTC Magic).

--
[1] ist alternativlos, denn es hilft beim automatischen Erstellen von Gaiji; wesentlich einfacher als FreePWING, und xml2eb aus dem EB4J erzeugt leider (defekte?) Wörterbücher, die manche Reader, z.B. EBWin, nicht lesen können...]]> http://www.wadoku.de/forum/posts/preList/825/9731.page http://www.wadoku.de/forum/posts/preList/825/9731.page GMT