b4tman
/
chgk_txt2json
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity
Утилита конвертирующая базу вопросов в текстовом формате ( https://gitlab.com/b4tman/db_chgk , в ZIP архиве) в файлы в формате JSON
42 Commits 3 Branches 0 Tags 92 KiB
Rust 100%
Go to file
Dmitry Belyaev 65c64f17d7
simplify filename filter 		2023-08-01 17:12:23 +03:00
src simplify filename filter 2023-08-01 17:12:23 +03:00
.gitignore zip to zip 2022-09-12 22:34:17 +03:00
Cargo.lock upd async_zip 2023-08-01 16:49:15 +03:00
Cargo.toml upd async_zip 2023-08-01 16:49:15 +03:00
LICENSE add LICENSE 2022-10-01 15:42:39 +03:00
README.md add README 2022-10-01 15:40:17 +03:00

README.md

chgk_txt2json

Конвертер текстовых файлов с вопросами в JSON формат. Исходные файлы вопросов должны находиться в ZIP файле baza_utf8.zip, результат будет записан в файл json.zip.

Особенности

Кодировка исходных файлов

В оригинальных файлах базы используется кодировка KOI8-R. Но из за того что tokio::AsyncBufReadExt::lines работает только с UTF-8, эта утилита работает с файлами которые уже в кодировке UTF-8.

Алгоритм сжатия выходного архива

Для сжатия файлов в выходном архиве используется метод Zstandard, т.к. он достаточно быстр и по степени сжатия сопоставим с обычным Deflate.

Но для просмотра содержимого таких ZIP файлов нужно использовать ПО c поддержкой Zstandard, например:

Ссылки