tokenizer-arena / stats /compression_rate /CohereForAI.aya-101 @ cc100.de.diff.json
xu-song's picture
add compression_rate details
a4208a2
[
{
"text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
"decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
"diff": [
"delete text[67:68] --> decoded_text[67:67] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "Laut dieser Studie sind es ....",
"decoded_text": "Laut dieser Studie sind es....",
"diff": [
"delete text[26:27] --> decoded_text[26:26] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
"decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
"diff": [
"delete text[78:79] --> decoded_text[78:78] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
"decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
"diff": [
"replace text[134:136] --> decoded_text[134:135] 'ü' --> 'ü'"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
"decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
"diff": [
"replace text[488:490] --> decoded_text[488:489] 'ü' --> 'ü'"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
"decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
"diff": [
"replace text[193:195] --> decoded_text[193:194] 'ü' --> 'ü'"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
"decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
"diff": [
"delete text[81:82] --> decoded_text[81:81] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
"decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
"diff": [
"replace text[178:179] --> decoded_text[178:181] '¼' --> '1⁄4'"
],
"n_oov_chars": 1,
"oov_ratio": 0.00392156862745098,
"oov_charset": "[\"¼\"]"
},
{
"text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
"decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
"diff": [
"replace text[113:114] --> decoded_text[113:116] '¼' --> '1⁄4'"
],
"n_oov_chars": 1,
"oov_ratio": 0.007194244604316547,
"oov_charset": "[\"¼\"]"
},
{
"text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
"decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
"diff": [
"replace text[37:38] --> decoded_text[37:40] '¼' --> '1⁄4'"
],
"n_oov_chars": 1,
"oov_ratio": 0.005847953216374269,
"oov_charset": "[\"¼\"]"
}
]