Коротко — ответ в двух частях: (1) что такое кодировка и как её проектировать/реализовывать; (2) как её «подключать» в приложениях/системе (Windows/Linux) и с чего начать изучение.
1) Что такое «своя кодировка» (концепция) и как её проектировать
- Кодировка — это правило отображения между набором символов (обычно Unicode code points или собственным набором графем) и последовательностями кодовых единиц (обычно байтов). Нужно определить:
- единицу кодирования (обычно байт = 8 бит; могут быть 16‑бит слова и т.д.);
- однобайтная или многобайтная (фиксированная/переменная длина) схема;
- алфавит (какие символы кодируем): например, subset Unicode, или уникальная таблица символов;
- однозначность/самодостаточность (чтобы декодер мог однозначно распознать границы кодовых единиц);
- поведение при ошибках (replacement, exception), BOM, порядок байтов (для 16/32‑бит);
- требование к нормализации/комбинациям (если используете Unicode, решите, будете ли нормализовать);
- дополнительные функции: stateful (ISO‑2022), переключение таблиц и т.д.
- Примеры стратегий:
- single‑byte: таблица длиной 256, где каждому байту сопоставлен символ Unicode. Простой, быстрый.
- multi‑byte с префиксами: UTF‑8 — байты имеют уникальные префиксы, позволяющие синхронизироваться.
- stateful: ISO‑2022 — требуется внутреннее состояние (escape‑последовательности).
- fixed 2‑byte (UTF‑16BE/LE): простая обр. между 16‑бит единицами и Unicode.
- Документируем: таблица/алгоритм преобразования, имя кодировки (IANA‑имя, если планируете публиковать), семантика ошибок.
2) Формат хранения кодировки
- Для простых одно‑байтовых — 256‑элементный массив (byte -> codepoint) и обратная хеш/таблица codepoint -> byte.
- Для многобайтных — конечный автомат/тrie для распознавания префиксов и таблицы переходов; при генерации — алгоритм, преобразующий codepoint → байтовая последовательность.
- Часто кодировку представляют как две таблицы + параметры (endianness, BOM, replacement code) в текстовом или бинарном ресурсном файле; для ICU это набор data‑файлов, для iconv — модуль/библиотека.
3) Как реализовать энкодер/декодер (на уровне приложений)
- Языки/инструменты, где легче писать:
- Python: пишете класс Codec/IncrementalEncoder/Decoder и регистрируете через codecs.register(search_function). Очень удобно для экспериментов.
- Java: реализуете java.nio.charset.Charset + CharsetEncoder/CharsetDecoder и помещаете провайдер (CharsetProvider) в JAR (META‑INF/services).
- .NET: наследовать System.Text.Encoding и/или реализовать EncodingProvider и зарегистрировать через Encoding.RegisterProvider.
- C/C++: пишете функции/библиотеки; если нужен системный доступ — на C (glibc/gconv, iconv, ICU).
- Rust/Go: аналогично — библиотечный уровень (package).
Пример (очень компактно, идея для Python — однобайтовая таблица):
def encode_one(s, table): # table: dict unicode->byte
return bytes(table.get(ord(ch), 0x3F) for ch in s) # '?'=0x3F replacement
def decode_one(bdata, inv_table): # inv_table: byte->unicode char
return ''.join(inv_table[b] for b in bdata)
4) Как «установить» кодировку в системе (практика)
- Общая рекомендация: не пытайтесь менять NLS/ядро ОС, если цель — учиться или поддерживать приложение. Проще зарегистрировать кодировку в библиотеке, которой пользуется ваше приложение (Python, Java, .NET, ICU, iconv).
- Linux (реально): у glibc есть механизм gconv — плагины (shared libs) в /usr/lib/gconv и запись в /etc/gconv.modules или /etc/gconv.conf. Вы можете написать gconv‑модуль на C, собрать как .so и добавить запись. Для приложений обычно проще:
- добавить модуль для GNU libiconv (если используется);
- либо подключить ICU и добавить конвертер в ICU (потребует работы с ICU data).
- многие программы используют iconv/ICU/Python/Java; добавьте свой кодек туда, где он нужен.
- Windows:
- Windows «на уровне системы» поддерживает фиксированный набор кодовых страниц (NLS). Добавить произвольную кодовую страницу для всей системы — очень сложно и потребует изменения системных NLS‑компонентов и/или подмены DLL — практически нереально для обычного пользователя.
- Практический путь: реализовать кодировку внутри приложения:
- .NET: создать Encoding и зарегистрировать провайдер — каждое приложение может использовать.
- Java: реализовать CharsetProvider и поставлять JAR, который приложение подключает.
- использовать ICU (широко применима на Windows).
- Для интеграции с браузерами/почтовыми агентами — нужно регистрировать имя у IANA (если хотите общепринятое имя).
5) Реализация для системных библиотек (кратко)
- glibc gconv: пишете C‑функции gconv_open/gconv/..., компилируете .so, регистрируете в /etc/gconv.conf. Это низкоуровневая и небезопасная работа (ошибки могут привести к проблемам).
- GNU libiconv: можно включить свои конвертеры при сборке или добавить модули.
- ICU: поставляется с API для добавления «simple converter» — см. документацию ICU Data and Converter creation.
- Windows NLS: Microsoft не предоставляет простой публичный API для добавления новых кодовых страниц; обходной путь — приложение‑уровень.
6) Что почитать и с чего начать (в порядке полезности)
- The Unicode Standard — основной документ (начните с первых глав: concepts, encoding forms).
- Unicode Technical Reports:
- UTR #36 Name? (необязательно), но обязательно UAX #15 (Unicode Normalization), RFC 3629 (UTF‑8), UAX #9 (Bidi) при интересе к направлению.
- "Unicode Explained" — Jukka K. Korpela — хорошее введение.
- "Unicode®: A Primer" и статьи в unicode.org (в FAQ много практических примеров).
- "CJKV Information Processing" — Ken Lunde — если интересует сложные письменности.
- Статьи и блоги:
- Markus Kuhn: "Unicode, character sets, and handling multilingual text" (полезные заметки).
- Michael Kaplan: статьи о Windows и кодировках.
- "What every programmer should know about encodings" — разные заметки и руководства по web.
- Исследуйте исходники:
- Python: каталог Lib/codecs.py, encodings/*.py (наглядно как добавлять кодеки).
- Java: OpenJDK CharsetProvider/Charset реализации.
- glibc gconv примеры и документация.
- ICU исходники и примеры конвертеров.
- RFC и стандарты для старых кодировок: ISO‑8859‑* серии, ISO‑2022, RFCs про MIME charsets.
7) Практические советы и порядок действий для обучения
- Начните с простой одно‑байтовой таблицы: создайте 256‑элементную таблицу, напишите encoder/decoder в Python и протестируйте.
- Добавьте обработку ошибок, тест 100% round‑trip для множества строк.
- Сделайте более сложный пример — преобразователь, похожий на UTF‑8 (prefix bits), реализуйте state machine и тестируйте синхронизацию и recovery.
- Посмотрите, как выглядят реальные реализации (Python/ICU) и попробуйте добавить вашу кодировку в одну из них (например, написать Python‑модуль и зарегистрировать через codecs.register).
- Если цель — системная интеграция под Linux — попробуйте написать gconv‑модуль и установить его на тестовой машине (очень полезно для понимания).
8) Заключение / рекомендации
- Для образовательных целей: реализуйте сначала в высокоуровневом языке (Python/Java), это даст понимание без риска повредить систему.
- Для интеграции с реальными приложениями: экспортируйте свою кодировку как библиотечный модуль (CharsetProvider, EncodingProvider, codecs) или добавьте в ICU/libiconv, а не пытайтесь менять системные NLS в Windows.
- Читайте Unicode Standard и смотрите исходники существующих конвертеров — это лучший путь понять тонкости (нормализация, комбинируемые знаки, ошибка в потоке, BOM, несовместимости).
Если хотите, могу:
- показать конкретный пример реализации однобайтовой кодировки в Python (полный код);
- дать пример Java CharsetProvider skeleton;
- показать пример структуры gconv‑модуля на C для Linux.
Напишите, какой вариант примерa вы хотите — Python/Java/C — и я пришлю рабочий пример и набор тестов.