b4tman
/
chgk_txt2json
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity
Утилита конвертирующая базу вопросов в текстовом формате ( https://gitlab.com/b4tman/db_chgk , в ZIP архиве) в файлы в формате JSON
You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
40 Commits
3 Branches
0 Tags
85 KiB
Rust 100%
 
async
master
parallel
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'master'
${ noResults }
Go to file
Dmitry Belyaev a53bc4643b
add LICENSE 		8 months ago
src split reader/converter 8 months ago
.gitignore zip to zip 9 months ago
Cargo.lock cleanup deps 9 months ago
Cargo.toml cleanup deps 9 months ago
LICENSE add LICENSE 8 months ago
README.md add README 8 months ago

README.md
Unescape Escape

chgk_txt2json

Конвертер текстовых файлов с вопросами в JSON формат. Исходные файлы вопросов должны находиться в ZIP файле baza_utf8.zip, результат будет записан в файл json.zip.

Особенности

Кодировка исходных файлов

В оригинальных файлах базы используется кодировка KOI8-R. Но из за того что tokio::AsyncBufReadExt::lines работает только с UTF-8, эта утилита работает с файлами которые уже в кодировке UTF-8.

Алгоритм сжатия выходного архива

Для сжатия файлов в выходном архиве используется метод Zstandard, т.к. он достаточно быстр и по степени сжатия сопоставим с обычным Deflate.

Но для просмотра содержимого таких ZIP файлов нужно использовать ПО c поддержкой Zstandard, например:

Ссылки