chgk_txt2json

Конвертер текстовых файлов с вопросами в JSON формат. Исходные файлы вопросов должны находиться в ZIP файле baza_utf8.zip, результат будет записан в файл json.zip.

Особенности

Кодировка исходных файлов

В оригинальных файлах базы используется кодировка KOI8-R. Но из за того что tokio::AsyncBufReadExt::lines работает только с UTF-8, эта утилита работает с файлами которые уже в кодировке UTF-8.

Алгоритм сжатия выходного архива

Для сжатия файлов в выходном архиве используется метод Zstandard, т.к. он достаточно быстр и по степени сжатия сопоставим с обычным Deflate.

Но для просмотра содержимого таких ZIP файлов нужно использовать ПО c поддержкой Zstandard, например:

• Modern7z
• 7-Zip-zstd

Ссылки

• Исходная база вопросов: http://db.chgk.info
• Копия файлов базы вопросов: https://gitlab.com/b4tman/db_chgk
• Утилита конвертации кодировки текстовых файлов в ZIP архиве: https://gitea.b4tman.ru/temp/ztb_recode