Ми відрепетирували аварію
Ми навмисно відрізали сервер від мережі на 15 хвилин. Система помітила це й відновила всі 195 пропущених свічок за 40 секунд після повернення зв’язку.
Задача.
Потоки біржі обриваються, угоди приходять із запізненням, а свічки тихо виходять неповними. Будь-який сигнал на таких даних успадковує помилки, і це помічають, лише коли втрачено гроші.
Що ми зробили.
- Збирач з пошуком пропусків і автоматичним дозавантаженням з історії біржі.
- Окремий прохід для угод, що запізнилися. Він виправив близько 20% свічок, у яких обсяг був занижений до 70%.
- Старші таймфрейми, від 5 хвилин до доби, зібрані з хвилинних свічок і звірені з біржею.
- Повтор цілого дня через той самий шлях запису і звірка хешем з тим, що записалося наживо.
- Окремий сторож, ранкове зведення в Telegram, бекапи з щомісячною перевіркою відновлення.
Рішення, які варто пояснити.
Жодних обіцянок щодо прогнозів
Цей етап про правильні дані, а не про прибуток. Сигнали будуть далі і перевірятимуться на даних, які цей етап уже довів.
У цифрах.
72 hприймального прогону без жодного пропуску на 15 парах
40 sна відновлення після 15-хвилинного обриву мережі
~245kдублікатів угод відкидається за добу
1:1повтор дня збігається з живим записом за хешем
Стек
- Python 3.12
- asyncio
- websockets
- httpx
- SQLAlchemy
- Alembic
- PostgreSQL 16
- Docker Compose
- Telegram Bot API
Потрібно щось подібне?
Опишіть свій процес. Скажемо, які частини цієї системи вам підходять і скільки це коштуватиме.