Structural problems with the data file

[makigumo]

Hello!

After a cursory glance the following problems came up. Would be nice if they could be addressed with time.

Entry without an ID

$ awk -F'\t' '{if($1=="")print $0}' WaDokuDa.tab 
	ファスティアン	ふぁすてぃあん	(<POS: N.>) <MGr: <TrE: <HW m: Barchent>>; <TrE: <HW m: Fustian>> (<Def.: dicker Stoff z. B. für Reithosen>；<Etym.: von engl. <For.: fustian>>；<Ref.: ➡ <Transcr.: fasuchan> <Jap.: ファスチャン><DaID: 5096448>>)>.	名	HE	ふぁす[Dev]てぃあん

Wrong values in Wortart

They are easy to spot, e.g.

$ awk -F'\t' '{if($5!="")print $5}' WaDokuDa.tab | sort | uniq
[..]
行き [b] (往き [b])
[..]
がいがい (皚々; 皚皚)
[..]
いがぐり; イガグリ (毬栗; いが栗; 梂栗)
[..]

Unknown/invalid subentry types

$ awk -F'\t' '{if($7!="")print $7}' WaDokuDa.tab | sort | uniq
[..]
Abl. mit <Umschr.: yō>
[..]
ZIdiom
[..]
n

Wrong midashigo

$ awk -F'\t' '{if($8!="")print $8}' WaDokuDa.tab | sort | uniq | head -n1
[..]

$ grep -e '\x0b\x0b\x0b' WaDokuDa.tab
3181344 営業外収入 (<LongKanji: 營業外收入>)    えいぎょうがいしゅうにゅう      <MGr: <TrE: nicht operatives <HW n: Einkommen>>>.       名      営業 (<LongKanji: 營業>)        Komp. Anf.      ^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K^K      <営業>外収入    <えい'ぎょう>[WaSep]がいしゅうにゅう                            

Submidashigo with leading space

$ awk -F'\t' '{if($9!="")print $9}' WaDokuDa.tab | sort | uniq | head -n6
 /<怒り>やすい
 /<来合せた>人
 /<うらやまし>がる
 乾し<無花果>
 ドライブイン<映画館>
(<南京>玉簾)

Romajireading with leading space, leading apostrophe

$ awk -F'\t' '{if($10!="")print $10}' WaDokuDa.tab | sort | uniq | head -n5
 <おりじなる>　だ
 こと[WaSep]ば　を　/<ひがんで>　とる
 こと[WaSep]ば　に　/<あらわせない>
'<りゅう'つう>[DinSP]じょうほう[DinSP]き'かく
*Lesung

invalid accent field content

$ awk -F'\t' '{if($11!="")print $11}' WaDokuDa.tab | sort | uniq
^K
-
[..]
o
うpする; うぷする
習慣 ist falsche Lesung
深見草
何某となく; 何某と無く sind wohl falsch

invalid altaccent field content

$ awk -F'\t' '{if($12!="")print $12}' WaDokuDa.tab | sort | uniq 
[..]
o

Selfreferencing entries (138)

DaID == ID

$ awk -F'\t' '{DAID="DaID: " $1}; $4 ~ DAID {print $0}' WaDokuDa.tab
[..]

References pointing nowhere (5)

e.g. no DaID

$ awk -F'\t' '$4 ~ "DaID:>" {print $0}' WaDokuDa.tab
[..]

Thx.

[makigumo]

Wrong ID format

e.g. not a number

$ awk -F'\t' '{if ($1 !~ /^[0-9]+$/)  {print $0}}' WaDokuDa.tab
1094560^K       アンバーグリス  あんばーぐりす  (<POS: N.>) <MGr: <TrE: <HW m: Amber>>; <TrE: <HW fm: Ambra>> (<Def.: als Duftstoff verwendete fettige Darmausscheidung des Pottwals>；<Etym.: von engl. <For.: ambergris>>；<Ref.: ⇒ <Transcr.: ryūzen·kō> <Jap.: 竜涎香><DaID: 2596220>>)>.   名      HE                              あんばーぐりす                          
8563613wi       イオパノ酸      いおぱのさん    (<POS: N.>) <MGr: {<Dom.: Chem., Pharm.>} <TrE: <HW f: Iopansäure>> <TrE: <HW n: Acidum> iopanoicum> (<Def.: ein Halogenaromat>；<WikiDE: Iopansäure>)>.        名      HE                              いおぱの[WaSep]さん                             
6675208^K       ドクカマス; どくかます (毒魳)   どくかます      (<POS: N.>) <MGr: {<Dom.: Fischk.>} <TrE: Großer <HW m: Barrakuda>> (<Def.: ein Raubfisch aus der Gattung Barrakuda>；<Scientif.: Sphyraena barracuda>；<Ref.: ⇒ <Transcr.: oni·kamasu> <Jap.: 鬼魳；鬼魣><DaID: 1944205>>)>.   名      HE              毒×魳           どく[WaSep]かます                               
        ファスティアン  ふぁすてぃあん  (<POS: N.>) <MGr: <TrE: <HW m: Barchent>>; <TrE: <HW m: Fustian>> (<Def.: dicker Stoff z. B. für Reithosen>；<Etym.: von engl. <For.: fustian>>；<Ref.: ➡ <Transcr.: fasuchan> <Jap.: ファスチャン><DaID: 5096448>>)>.  名      HE                              ふぁす[Dev]てぃあん                             
1852218^K5225218^K5225252       フロンティア    ふろんてぃあ    (<POS: N.>) [1]<MGr: <TrE: <HW f: Grenze>>; <TrE: <HW n: Grenzgebiet>>; <TrE: <HW n: Grenzland>>>. [2]<MGr: {<Dom.: Gesch.>} <TrE: <HW n: Frontier>>; <TrE: der zu erst zu erschließende <HW m: Westen> der Vereinigten Staaten>> // <MGr: (<Usage: übertr.>) <TrE: <HW n: Neuland>>; <TrE: zu erschließendes <HW n: Gebiet>>>. 名      HE                              ふろんてぃあ    2                       
8167080^K       ベンゾチアゾール        べんぞちあぞーる        (<POS: N.>) <MGr: {<Dom.: Chem.>} <TrE: <HW n: Benzothiazol>> (<Def.: ein Schwefel-Stickstoff-Heterocyclus>；<WikiJA: ベンゾチアゾール>；<WikiDE: Benzothiazol>)>.      名      HE                              べんぞちあぞーる