b4tman/chgk_txt2json

Fork 0

Утилита конвертирующая базу вопросов в текстовом формате ( https://gitlab.com/b4tman/db_chgk , в ZIP архиве) в файлы в формате JSON

chgk json rust

Go to file

Dmitry 130e5ee2aa upd async_zip		2023-08-01 16:49:15 +03:00
src	upd async_zip	2023-08-01 16:49:15 +03:00
.gitignore	zip to zip	2022-09-12 22:34:17 +03:00
Cargo.lock	upd async_zip	2023-08-01 16:49:15 +03:00
Cargo.toml	upd async_zip	2023-08-01 16:49:15 +03:00
LICENSE	add LICENSE	2022-10-01 15:42:39 +03:00
README.md	add README	2022-10-01 15:40:17 +03:00

README.md

chgk_txt2json

Конвертер текстовых файлов с вопросами в JSON формат. Исходные файлы вопросов должны находиться в ZIP файле baza_utf8.zip, результат будет записан в файл json.zip.

Особенности

Кодировка исходных файлов

В оригинальных файлах базы используется кодировка KOI8-R. Но из за того что tokio::AsyncBufReadExt::lines работает только с UTF-8, эта утилита работает с файлами которые уже в кодировке UTF-8.

Алгоритм сжатия выходного архива

Для сжатия файлов в выходном архиве используется метод Zstandard, т.к. он достаточно быстр и по степени сжатия сопоставим с обычным Deflate.

Но для просмотра содержимого таких ZIP файлов нужно использовать ПО c поддержкой Zstandard, например:

Ссылки