SimpleBoard - Описание проекта

Обзор

SimpleBoard — это многопользовательская SaaS-платформа корпоративного уровня для бизнес-аналитики и визуализации данных. Она позволяет организациям подключать несколько источников данных, создавать интерактивные дашборды, выполнять статистический анализ и обмениваться аналитическими данными между командами. Платформа поддерживает веб- и мобильные интерфейсы с надежным управлением пользователями, иерархиями организаций и интегрированными возможностями биллинга.

Бизнес-функциональность

Основные функции

1. Подключение к данным из нескольких источников

• Загрузка Excel/CSV: Прямая загрузка файлов с автоматическим парсингом данных
• Базы данных PostgreSQL: Прямые подключения к базам данных с синхронизацией данных в реальном времени
• REST API: Подключение к внешним API в качестве источников данных
• Веб-скрейпинг: Извлечение данных из HTML-таблиц по URL-адресам
• Интеграция с 1С: Поддержка российской бухгалтерской программы 1С

2. Создание и управление дашбордами

• Интерфейс Drag-and-Drop: Интуитивно понятный конструктор дашбордов с настраиваемыми сетками
• Заголовки разделов: Организация дашбордов с помощью сворачиваемых разделителей разделов
• Несколько дашбордов: Создание неограниченного количества дашбордов для каждой организации
• Совместное использование дашбордов: Публичные URL-адреса с дополнительной защитой паролем
• Генерация QR-кодов: Генерация QR-кодов для мобильного доступа к дашбордам

3. Визуализация данных

• Типы диаграмм: Линейные, Областные, Столбчатые, Круговые, Точечные, Тепловые карты, Таблицы
• Библиотеки для построения диаграмм: ApexCharts, ChartJS, D3, Semantic UI
• Обновления в реальном времени: Автоматическое обновление данных из подключенных источников
• Адаптивный дизайн: Визуализации, оптимизированные для мобильных устройств

4. Расширенная аналитика

• Описательная статистика: Среднее, медиана, стандартное отклонение, дисперсия, асимметрия, эксцесс
• Корреляционный анализ: Выявление взаимосвязей между переменными
• Регрессионный анализ: Моделирование линейной регрессии
• PCA (анализ главных компонент): Снижение размерности
• Проверка гипотез: T-тесты и статистическая значимость
• Агрегация данных: Сумма, среднее и исторические тенденции

5. Управление пользователями и организациями

• Многопользовательская архитектура: Полная изоляция организаций
• Управление доступом на основе ролей: Роли пользователей (администратор, участник данных, просмотрщик)
• Совместная работа в команде: Приглашения пользователей и управление группами
• Настройки организации: Настраиваемые свойства компании

6. Монетизация и биллинг

• Многоуровневые тарифные планы: Уровни от 50 до 1000 пользователей с ежемесячной/годовой/двухлетней оплатой
• Интеграция платежей: Интеграция платежного шлюза ЮKassa
• История платежей: Отслеживание транзакций и квитанции
• Запросы на демонстрацию: Сбор лидов с автоматическими уведомлениями по электронной почте

7. Функции для совместной работы

• Комментарии к дашбордам: Ветки обсуждений на уровне дашборда
• Комментарии к элементам: Комментарии к отдельным диаграммам/виджетам
• Система обратной связи: Сбор отзывов пользователей
• Синхронизация файлов: Совместное управление файлами между командами

8. Мобильная поддержка

• Приложения для iOS/Android: Нативное мобильное приложение на Swift и Kotlin
• Push-уведомления: Интеграция Firebase Cloud Messaging
• Мобильный API: Выделенный REST API для мобильных клиентов
• Управление устройствами: Регистрация и управление настройками уведомлений

Техническая архитектура

Высокоуровневая архитектура

┌─────────────────────────────────────────────────────────────┐
│                    Клиентский уровень                        │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐      │
│  │ Веб-браузер  │  │  Приложение  │  │ Приложение   │      │
│  └──────────────┘  │    iOS       │  │   Android    │      │
│                    └──────────────┘  └──────────────┘      │
└─────────────────────────────────────────────────────────────┘
                           │
                           ▼
┌─────────────────────────────────────────────────────────────┐
│                    Nginx (Обратный прокси)                   │
│                  Завершение SSL/TLS                          │
└─────────────────────────────────────────────────────────────┘
                           │
            ┌──────────────┴──────────────┐
            ▼                              ▼
┌─────────────────────┐                  ┌─────────────────────┐
│  Приложение Django  │                  │  Микросервис Go     │
│  (Uvicorn/ASGI)     │                  │  (Модуль высокой    │
│                     │                  │   нагрузки)         │
│  - Веб-интерфейс    │                  │                     │
│  - REST API         │                  │  - API данных       │
│  - Бизнес-логика    │                  │    диаграмм         │
└─────────────────────┘                  │  - API данных       │
            │                            │    таблиц           │
            ▼                            │  - Высокая          │
┌─────────────────────┐                  │    производительность│
│  PostgreSQL         │                  └─────────────────────┘
│  (Основная БД)      │                                 │
│                     │                                 ▼
│  - Метаданные       │                              ┌─────────────────────┐
│  - Пользователи/Орг.│                              │  PostgreSQL         │
│  - Дашборды         │                              │  (Вторичная БД)     │
└─────────────────────┘                              │                     │
            │                                        │  - Аналитические    │
            ▼                                        │    данные           │
┌─────────────────────────────────────────────┐      │  - Большие наборы   │
│         Инфраструктура очереди задач        │      │    данных           │
│  ┌──────────────┐      ┌──────────────┐     │      │  - Результаты       │
│  │    Redis     │◄─────┤   Celery     │     │      │    анализа          │
│  │   (Брокер)   │      │   Воркеры    │     │      └─────────────────────┘
│  └──────────────┘      └──────────────┘     │
└─────────────────────────────────────────────┘
            │
            ▼
┌─────────────────────────────────────────────┐
│     Мониторинг и наблюдаемость              │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐   │
│  │Prometheus│  │ Promtail │  │   Node   │   │
│  │          │  │          │  │ Exporter │   │
│  └──────────┘  └──────────┘  └──────────┘   │
└─────────────────────────────────────────────┘

Архитектурные паттерны

1. Стратегия с несколькими базами данных

• Основная PostgreSQL: Хранит метаданные, учетные записи пользователей, организации, конфигурации дашбордов
• Вторичная PostgreSQL: Предназначена для аналитических данных, больших наборов данных и результатов анализа
• Преимущества: Улучшенная производительность запросов, изоляция данных, независимое масштабирование

2. Асинхронная обработка задач

• Воркеры Celery: Обрабатывают длительные операции (загрузка файлов, анализ данных, уведомления по электронной почте)
• Брокер сообщений Redis: Управление очередями и межсервисное взаимодействие
• Планировщик Celery Beat: Запланированные задачи для обновления конвейера данных

3. Микросервисная архитектура

• Высокопроизводительный сервис Go: Обрабатывает запросы, интенсивно использующие данные, для диаграмм и таблиц
• Разделение ответственности: Django обрабатывает бизнес-логику, Go обрабатывает ресурсоемкие операции
• Независимое масштабирование: Сервис Go может масштабироваться независимо для сценариев высокой нагрузки

4. RESTful API дизайн

• Django REST Framework: Обеспечивает работу мобильных API-конечных точек
• Токен-аутентификация: Безопасный доступ к API для мобильных клиентов
• Сериализаторы: Единый уровень преобразования данных

Поток данных

Поток рендеринга дашборда

Запрос пользователя → Nginx → Представление Django → Запрос к базе данных → Рендеринг шаблона → HTML-ответ
                                    ↓
                              (При высокой нагрузке)
                                    ↓
                              Микросервис Go → Вторичная БД → JSON-ответ

Поток загрузки и обработки данных

Загрузка файла → Представление Django → Очередь задач Celery → Обработка воркером
                                                       ↓
                                                 Парсинг данных (Pandas)
                                                       ↓
                                                 Хранение во вторичной БД
                                                       ↓
                                                 Обновление метаданных (основная БД)
                                                       ↓
                                                 Уведомление пользователя

Поток аналитики

После загрузки данных  → Задача Celery → Обработка Pandas/Scikit-learn
                                              ↓
                                       Статистические вычисления
                                              ↓
                                       Хранение результатов (вторичная БД)
                                              ↓
                                       Обновление элемента дашборда

Стек технологий

Бэкенд

Компонент	Технология	Версия	Назначение
Веб-фреймворк	Django	5.0.2	Основной фреймворк приложения
API-фреймворк	Django REST Framework	3.15.2	REST API для мобильных устройств
Сервер приложений	Uvicorn	-	ASGI-сервер для Django
Очередь задач	Celery	5.4.0	Асинхронная обработка заданий
Брокер сообщений	Redis	5.0.7	Бэкенд Celery
База данных	PostgreSQL	16	Основная и вторичная базы данных
Микросервис	Go	1.23	Высокопроизводительные запросы данных
Обратный прокси	Nginx	-	SSL, маршрутизация, статические файлы

Обработка и аналитика данных

Библиотека	Назначение
Pandas	Манипуляции и анализ данных
Scikit-learn	Машинное обучение (регрессия, PCA)
SciPy	Статистические функции
NumPy	Численные вычисления
OpenPyXL	Обработка файлов Excel
BeautifulSoup4	Парсинг HTML для веб-скрейпинга

DevOps и мониторинг

Инструмент	Назначение
Docker	Контейнеризация
Docker Compose	Оркестрация нескольких контейнеров
Prometheus	Сбор метрик
Promtail	Агрегация логов
Node Exporter	Системные метрики
django-prometheus	Инструментарий метрик Django

Сторонние интеграции

Сервис	Назначение
Firebase Cloud Messaging	Push-уведомления
ЮKassa	Обработка платежей
qrcode	Генерация QR-кодов

Структура проекта

SimpleBoard/
│
├── Board/                          # Конфигурация проекта Django
│   ├── settings.py                 # Основные настройки (базы данных, приложения, промежуточное ПО)
│   ├── urls.py                     # Корневая маршрутизация URL
│   ├── asgi.py                     # Точка входа ASGI-приложения
│   ├── wsgi.py                     # Точка входа WSGI-приложения
│   └── celery.py                   # Конфигурация Celery
│
├── dashboard_app/                  # Основное приложение дашбордов
│   ├── models.py                   # Модели данных (Dashboard, DataSet, DashboardItem)
│   ├── views.py                    # Контроллеры представлений
│   ├── urls.py                     # Маршрутизация URL 
│   ├── forms.py                    # Определения форм
│   ├── serializers.py              # Сериализаторы REST API
│   ├── tasks.py                    # Асинхронные задачи Celery
│   ├── helpers.py                  # Утилиты для обработки данных
│   ├── decorators.py               # Пользовательские декораторы аутентификации
│   ├── templates/main/             # HTML-шаблоны Django
│   ├── static/                     # CSS, JavaScript, изображения
│   └── migrations/                 # Миграции базы данных
│
├── users/                          # Управление пользователями и организациями
│   ├── models.py                   # Модели Organization, Tariff, Payment
│   ├── views.py                    # Аутентификация, биллинг, управление пользователями
│   ├── urls.py                     # Маршрутизация, связанная с пользователями
│   ├── forms.py                    # Формы пользователей
│   ├── serializers.py              # Сериализация пользовательских данных
│   └── migrations/                 # Миграции базы данных
│
├── swift/                          # Мобильный API
│   ├── views.py                    # REST-конечные точки для iOS/Android
│   ├── models.py                   # Регистрация устройств, уведомления
│   ├── urls.py                     # Маршрутизация мобильного API
│   ├── helpers.py                  # Утилиты для мобильных устройств
│   └── migrations/                 # Миграции базы данных
│
├── highload/                       # Микросервис Go
│   ├── main.go                     # Точка входа
│   ├── handlers/                   # Обработчики HTTP-запросов
│   │   ├── chart_data.go           # Конечные точки данных диаграмм
│   │   └── table_data.go           # Конечные точки данных таблиц
│   ├── helpers/                    # Вспомогательные функции для запросов к базе данных
│   └── Dockerfile                  # Контейнеризация сервиса Go
│
├── Documents/                      # Хранилище загруженных пользователем файлов
│
├── certificates/                   # SSL/TLS сертификаты
│   ├── simpleboard.crt
│   └── simpleboard.key
│
├── conf/                           # Конфигурация Nginx
│   └── nginx.conf
│
├── docker-compose.yml              # Оркестрация нескольких контейнеров (8 сервисов)
├── Dockerfile                      # Контейнер приложения Django
├── manage.py                       # CLI для управления Django
├── requirements.txt                # Зависимости Python
├── promtail-config.yml             # Конфигурация агрегации логов
└── .github/workflows/              # CI/CD конвейеры

Ключевые модули

Приложение дашбордов (dashboard_app/)

Основные модели:

• DataSet: Представляет подключенные источники данных (файлы, базы данных, API)
• Dashboard: Контейнер для элементов дашборда с конфигурацией макета
• DashboardItem: Отдельные диаграммы/виджеты с настройками визуализации
• DashboardHeader: Заголовки разделов для организации дашборда
• PublicDashboard: Конфигурация публичного доступа с токенами/паролями
• ConnectionTypes.*Properties: Конфигурации подключений (PostgreSQL, API, WebLink, 1C)

Основные представления (dashboard_app/views.py - 65 маршрутов):

• /upload-page/, /upload-page-postgres/, /upload-page-api/: Пользовательский интерфейс подключения к источнику данных
• /dashboard/<id>: Просмотр и рендеринг дашборда
• /create-dashboard/: Создание дашборда
• /create-dashboard-item/<id>: Добавление визуализации на дашборд
• /public-dashboard/<token>: Публичный доступ к дашборду
• /dashboard-qr/<id>: Генерация QR-кода

Асинхронные задачи (dashboard_app/tasks.py):

• process_dataset_file_upload_task: Асинхронная обработка файлов
• run_data_analysis: Выполнение статистического анализа
• send_demo_request_email_task: Уведомления по электронной почте
• update_airflow_01: Синхронизация конвейера данных
• save_foreign_postgres_table: Синхронизация таблиц PostgreSQL

Модуль пользователей (users/)

Основные модели:

• Organization: Сущность многопользовательской организации
• Demo: Отслеживание запросов на демонстрацию
• TariffModel: Определения тарифных планов
• PaymentHistory: Платежные транзакции
• DashboardComments: Обсуждения на уровне дашборда
• DashboardItemComments: Комментарии на уровне диаграмм/виджетов
• FeedbackComments: Отзывы пользователей

Модуль Swift (swift/)

Конечные точки мобильного API:

• Регистрация и управление устройствами
• Настройки push-уведомлений
• Доступ к дашбордам для мобильных клиентов
• Аутентификация и авторизация

Модуль высокой нагрузки (highload/)

Конечные точки микросервиса Go:

• /get-chart-data/: Высокопроизводительный запрос данных диаграмм
• /get-table-data/: Оптимизированный запрос данных таблиц
• Прямое подключение к вторичной базе данных PostgreSQL

Архитектура развертывания

Сервисы Docker Compose

Сервисы:

1. web - Приложение Django (Uvicorn ASGI)
2. db - Основная база данных PostgreSQL
3. db_secondary - Аналитическая база данных PostgreSQL
4. redis - Брокер сообщений для Celery
5. celery - Процессы воркеров Celery
6. nginx - Обратный прокси и завершение SSL
7. prometheus - Сбор метрик
8. promtail - Пересылка логов
9. node-exporter - Системные метрики
10. highload - Микросервис Go

Конфигурация контейнеров

Приложение Django:

• Базовый образ: Python 3.11
• Зависимости: requirements.txt
• Тома: Documents/, certificates/
• Автоматический перезапуск: всегда

Базы данных PostgreSQL:

• Образ: postgres:16-alpine
• Постоянные тома для данных

Микросервис Go:

• Базовый образ: golang:1.23-alpine
• Многоступенчатая сборка для оптимизации

Nginx:

• Порт: 443 (HTTPS), 80 (HTTP-перенаправление)
• SSL-сертификаты монтируются из ./certificates/
• Проксирует запросы к Django и Go
• Обслуживание статических файлов
• Включено сжатие Gzip

Стек мониторинга

Prometheus:

• Собирает метрики из Django
• Node exporter для системных метрик

Promtail:

• Пересылает логи в Loki/Grafana
• Мониторит логи приложений

Ключевые проектные решения

1. Архитектура с двумя базами данных

• Обоснование: Разделение метаданных и аналитических данных для повышения производительности
• Основная БД: Быстрые запросы для пользовательских сессий, метаданных дашбордов
• Вторичная БД: Оптимизирована для хранения больших наборов данных и анализа
• Компромисс: Увеличение сложности по сравнению со значительным приростом производительности

2. Микросервис Go для операций с высокой нагрузкой

• Обоснование: Превосходная производительность Go для запросов, интенсивно использующих данные
• Сценарий использования: Получение данных диаграмм/таблиц с большими наборами данных
• Преимущество: Увеличение производительности в 5-10 раз по сравнению с Python для операций с интенсивным чтением

3. Celery для асинхронной обработки

• Обоснование: Улучшение пользовательского опыта за счет выгрузки длительных задач
• Сценарии использования: Загрузка файлов, статистический анализ, уведомления по электронной почте
• Преимущество: Неблокирующий пользовательский интерфейс, лучшее использование ресурсов

4. Модель многопользовательской организации

• Обоснование: SaaS-платформа требует полной изоляции данных
• Реализация: Внешний ключ организации для всего пользовательского контента
• Преимущество: Масштабируемая многопользовательская система с гарантиями безопасности

5. Django REST Framework для мобильного API

• Обоснование: Отдельный уровень API для мобильных клиентов
• Преимущество: Четкое разделение между веб-интерфейсом и мобильными интерфейсами
• Аутентификация: На основе токенов для безсессионных мобильных сессий

Вопросы безопасности

• SSL/TLS: HTTPS принудительно через Nginx с действительными сертификатами
• Защита от CSRF: Включено промежуточное ПО Django CSRF
• Хеширование паролей: PBKDF2 Django с SHA256
• Предотвращение SQL-инъекций: Параметризованные запросы Django ORM
• Защита от XSS: Автоматическое экранирование шаблонов Django
• Аутентификация: На основе сессий для веб-приложений, на основе токенов для мобильных устройств
• Изоляция многопользовательской системы: Сегрегация данных на уровне организации

Оптимизация производительности

• Индексирование базы данных: Внешние ключи и часто запрашиваемые поля
• Оптимизация запросов: select_related и prefetch_related для предотвращения проблемы N+1
• Кэширование: Redis для хранения сессий и результатов Celery
• Обслуживание статических файлов: Nginx напрямую обслуживает статические ресурсы
• Микросервис Go: Разгружает ресурсоемкие запросы данных
• Пул соединений: Пул соединений PostgreSQL через pgBouncer
• Асинхронная обработка: Celery для фоновых задач

Стратегия масштабирования

• Горизонтальное масштабирование: Безстатусные экземпляры Django за балансировщиком нагрузки
• Шардирование базы данных: Вторичная БД может быть шардирована по организации
• Воркеры Celery: Масштабирование воркеров независимо в зависимости от глубины очереди
• Масштабирование микросервисов: Сервис Go может масштабироваться независимо
• Интеграция CDN: Статические ресурсы могут обслуживаться из CDN
• Уровень кэширования: Кластер Redis для распределенного кэширования

Резюме

SimpleBoard — это готовая к производству платформа бизнес-аналитики корпоративного уровня, созданная с использованием современных веб-технологий. Она сочетает в себе надежный фреймворк Django с высокопроизводительными микросервисами Go, двумя базами данных PostgreSQL и асинхронной обработкой задач для предоставления масштабируемого многопользовательского SaaS-решения. Платформа поддерживает комплексное подключение к данным, расширенную аналитику и широкие возможности визуализации, обеспечивая при этом безопасность, производительность и операционное превосходство за счет контейнеризации и комплексного мониторинга.