Музыкальная таблица Менделеева — система управления звуком через жесты и AI-анализ.
Periodic Table for Sound — gesture-controlled music synthesis with AI analysis.
Pulse — это симбиоз математики, цвета и музыки:
| Компонент | Описание |
|---|---|
| 🎨 Цвета Иттена | 12 цветов спектра → 12 нот хроматической гаммы |
| 🎡 Колесо Камелота | 24 позиции (12 мажор + 12 минор) для гармонического движения |
| 📐 Scale-геометрия | 34+ масштаба от хроматики до пентатоники с вершинами и цветами |
| 🤖 AI-анализ | Определение BPM, тональности, автоматический подбор шкалы |
| 👋 Hand Tracking | MediaPipe — руками как на Theremin |
«Музыка — это математика, видимая ухом. Pulse делает её видимой глазам.»
- Tauri + React + TypeScript — нативное macOS приложение
- MediaPipe Hand Tracking — отслеживание рук в реальном времени
- WebAudio Synth Engine — осцилляторы, ADSR, фильтры
- Smart Audio Analysis — определение нот из микрофона
- BPM Detection — анализ темпа в реальном времени
- Key Detection — определение тональности (Krumhansl algorithm)
- Scale Refinement — минимальная шкала (пентатоника > мажор > хроматика)
- 34 Musical Scales — база данных с интервалами, вершинами, цветами, жанрами
- Unified Wheel UI — колесо Камелота + Itten colors + геометрия масштабов
- Left/Right Hand Mapping — левая рука = ноты, правая = фильтр
- Real-time Scale Display — показывает выбранную шкалу и ноты
- Ring buffer для аудио
- Chromagram analysis
- Harmonic detection
- Smoothing filters для жестов
- Мягкий переход в ARP — как в Kaos (плавное arpeggiate по двум нотам)
- Матрица Scale → Genre → VST — автовыбор синтезатора по жанру
- BPM Impulse Light — импульс света в центре Камелота
- Piano Roll — визуализация нот пользователя (легато/арп маркеры)
- Color Key Filter — цветовая клавиша как фильтр для видео с камеры
- Sound Wave Visualizer — живая звуковая волна
- MIDI Recording — запись MIDI-дорожек
- Loop Engine — лупер с наложением
- Multitrack — несколько дорожек
- ** расширение базы FX** — эффекты: reverb, delay, chorus, phaser
- MIDI Controllers — поддержка внешних контроллеров
- Mac Touchpad — управление с тачпада как альтернатива камере
- Audio Input — импорт не только микрофона, но и MIDI/Line вход
- VETKA Nodal Modulations — модуляции по двум квадратам
- AI DJ Mode — автоматический подбор следующей тональности по Камелот-матрице
pulse/
├── src/
│ ├── audio/ # Audio engine
│ │ ├── SmartAudioEngine.ts # BPM + Key detection
│ │ ├── SynthEngine.ts # WebAudio synth
│ │ ├── Arpeggiator.ts # ARP patterns
│ │ ├── KeyDetector.ts # Key detection
│ │ ├── BPMDetector.ts # Tempo analysis
│ │ └── CircularAudioBuffer.ts
│ ├── music/
│ │ ├── theory.ts # Music theory utils
│ │ └── scales_db.ts # 34 scales database
│ ├── vision/
│ │ └── HandTracker.ts # MediaPipe integration
│ ├── components/
│ │ ├── UnifiedWheel.tsx # Camelot + Itten + Geometry
│ │ ├── CamelotModeWheel.tsx
│ │ └── Header.tsx
│ └── App.tsx # Main UI
├── docs/ # Research & documentation
├── src-tauri/ # Rust backend
└── README.md
| Категория | Технология |
|---|---|
| Framework | Tauri v2 (Rust) |
| Frontend | React 18 + TypeScript + Vite |
| Hand Tracking | MediaPipe Hands |
| Audio | WebAudio API |
| Music Theory | Custom algorithms + Chromagram |
| Styling | TailwindCSS |
- BigPicle — Architect, AI Integration, Development
- Grok — Research, Music Theory Analysis
- Minimax 2.5 — AI Assistance
- Kimi K2.5 — Research, Architecture Planning
MIT License — подробности в файле LICENSE
# Install dependencies
npm install
# Development
npm run tauri dev
# Build
npm run tauri buildBuilt with ❤️ by VETKA + BigPicle + Grok + Kimi + Minimax