Metadata

Name

trwiki-67

Repository

ZENODO

Identifier

doi:10.5281/zenodo.5213891

Description

trwiki-67 dataset

trwiki-67 is a language modeling dataset that contain 67 million words of raw wikipedia articles. It can be utilized as a benchmark for different language modeling tasks on character, subword, or word level.

This dataset was extracted from a Turkish wikipedia dump on 20 July 2021.

Preprocessing

All lists and tables were removed from the articles, and the initial extraction from .xml dump was done using wikiextractor:

Additionally, further preprocessing was applied to get rid of redundant text. Only raw text with the titles of the articles were kept in their cased format (with no upper/lower case transformations).

Article titles were included in text using this format `== TITLE ==`. And articles are seperated by empty lines.

Raw example:

== NGC 1710 ==

NGC 1710, Yeni Genel Katalog'da yer alan bir galaksidir. Gökyüzünde Aslan tak?my?ld?z? yönünde bulunur. E-S0 tipi bir merceksi, eliptik galaksidir. Amerikan astronom Francis Leavenworth taraf?ndan 1885 y?l?nda 66,04 cm (26 inç) çapl? mercekli tip bir teleskopla ke?fedilmi?tir.

== ?enol Gür?an ==

?enol Gür?an, (d. 17 Ekim 1964, P?narhisar, K?rklareli) Türk avukat ve siyasetçi.

?stanbul Üniversitesi Hukuk Fakültesi'ni bitirmi? ve serbest avukat olarak çal??m??t?r. K?rklareli ?lim Yayma Cemiyeti Kuruculu?u ve Ba?kanl??? görevlerinde bulunmu?tur.

2009 y?l?nda Adalet ve Kalk?nma Partisi K?rklareli il yönetim kurulu üyesi olmu?, TBMM 24. dönem AK Parti K?rklareli milletvekili, Türkiye-Polonya Dostluk Grubu Ba?kan? ve TBMM K?T Komisyonu Sözcüsü olmu?tur. Gelecek Partisi Kurucular Kurulu üyesi olup ayn? zamanda partinin genel sekreteridir.

?yi düzeyde Almanca bilen Gür?an, evli ve 2 çocuk babas?d?r.

== Bovenau ==

Bovenau Almanya'n?n kuzeyinde Schleswig-Holstein eyaletinde, Rendsburg-Eckernförde iline ba?l? bölge. Rendsburg'un 10 km. do?usunda yer al?r. 26,2 km² yüzölçümüne sahiptir. Nüfusu, 17 Temmuz 2006 itibar?yla yakla??k 1098 olarak tespit edilmi?tir. Belediye Ba?kanl??? Jürgen Liebsch taraf?ndan yürütülmektedir.

Tokenization

We train a sentencepiece tokenizer using tokenizers with 32K vocabulary size.

Tokenized example:

?logan ?county ? , ?bat? ?virginia <eos> ?logan ?ilçesi ?veya ?logan ?county ? , ?amerika ?birle?ik ?devletleri ? ' ? nin ?bat? ?virginia ?eyaletinde ?yer ?alan ?bir ?ilçe dir ? . ?ilçe nin ?nüfusu ? 2 ? 0 ? 1 ? 0 ?say?m?n a ?göre ? 3 ? 6 ? . ? 7 ? 4 ? 3 ? ' ?tür ? . ?ilçe nin ?merkezi ?logan ??ehri dir <eos> <eos>
?ba?lama ? , ?ni?de <eos>?ba?lama ? , ?ni?de ?ili ?merkez ?ilçesine ?ba?l? ?bir ?belde ? . ?tarihçe ? . ?köyün ?ad? ? 1 ? 9 ? 2 ? 8 ?y?l?ndaki ?kaynaklarda ?ba v lama ?olarak ?geç mekteydi ? . ? 3 ? 0 ?kas?m ? 1 ? 9 ? 8 ? 9 ?tarihinde ?belediye ?statüsü ? alarak ?belde ye ?dönü?tü <eos> <eos>
?fury ?from ?the ?deep <eos> ?fury ?from ?the ?deep ? , ?büyük ?britanya ?bilimkurgu ?dizisi ? " ?doctor ?who ? " ?nun ?klasik ?serisinin ?be?inci ?sezonunun ?tüm ?bölümlerinin ?kayboldu?u ?alt?nc? ?öyküsü ? . ?alt? ?bölümde n ?olu?an ?öykünü n ?ilk ?bölümü ? 1 ? 6 ?mart ? ' ?ta ? , ?son ?bölümü ? 2 ? 0 ?nisan ? 1 ? 9 ? 6 ? 8 ?tarihinde ?yay?nlanm?? t?r ? . ?bu ?öykü ?de bora h ? wat ling ? ' ?in ?victoria ? water field ?rolünü ?yol ?arkada?? ?olarak ?oynad??? ?son ?öykü dür ? . ?ayr?ca ?son ik ?tornavida ?ilk ?kez ?kullan?lm??t? r ? . ?bölümlerin ?ses ?kay?tlar? ? , ?foto?raflar? ?ve ?klip lerinin ?bulunmas?n a ? ra?men ?bölümlerin ?tamam? ?kay?p t?r ? . ?konu ? . ?tard? s ?ingiltere ? ' ? nin ?do?u ?k?y?lar?na ?in er ? . ?doktor ? , ?jami e ?ve ?victoria ?plaj? n ?yak?nlar?nda ki ?boru larda ?kötü ?bir ??ey le ?kar??la??r ?ve ?onu ?ara?t?r?r lar <eos> <eos>
?dikili ? , ? s uruç <eos> ?dikili ? , ??anl?urfa ?ilinin ? s uruç ?ilçesine ?ba?l? ?bir ?mahalle dir <eos> <eos>
?çift hisar ? , ?gerger <eos> ?çift hisar ? , ?ad?yaman ?ilinin ?gerger ?ilçesine ?ba?l? ?bir ? köydür ? . ?tarihçe ? . ?köyün ?ad? ? 1 ? 9 ? 0 ? 2 ?y?l? ?kay?tlar?nda ? mer dis ?olarak ?geçmektedir ? . ? 1 ? 9 ? 2 ? 8 ?y?l?ndan ?beri ?ise ?günümüzdeki ?ad?n? ?ta??maktad? r ? . ?co?rafya ? . ?köy ? ; ?ad?yaman ?il ?merkezine ? 8 ? 6 ?km ? , ?gerger ?ilçe ?merkezine ? 1 ? 6 ?km ?uzakl?ktad? r <eos> <eos>

Contact

Ali Safaya (alisafaya at gmail dot com).

Data or Study Types

multiple

Source Organization

Unknown

Access Conditions

available

Year

2021

Access Hyperlink

https://doi.org/10.5281/zenodo.5213891

Distributions

• Encoding Format: HTML ; URL: https://doi.org/10.5281/zenodo.5213891