Проект: Text-to-SQL
Интеллектуальная система преобразования вопросов на естественном языке в SQL-запросы
Задачи проекта:
Разработка системы, которая:
- Преобразует вопросы на естественном языке в SQL-запросы для базы данных SQLite.
- Выполняет запросы и возвращает ответы на русском языке.
- Поддерживает контекстные вопросы с сохранением истории.
- Обеспечивает надежность через обработку ошибок и валидацию SQL.
Описание проекта:
Text-to-SQL — это система, которая позволяет пользователям задавать вопросы о составах команд НБА (например, «На какой команде играет Клэй Томпсон?») и получать точные ответы на русском языке. Система использует модель GPT-4o-mini и фреймворк LangChain для генерации SQL-запросов, их выполнения в базе данных SQLite и формирования естественных ответов. Поддержка памяти позволяет обрабатывать связанные вопросы (например, «Какова его зарплата?»).
Архитектура решения
Общая архитектура
Система построена на трех основных компонентах:
- LangChain-цепочки для обработки вопросов и генерации SQL.
- SQLite база данных (nba_roster.db).
- OpenAI API (GPT-4o-mini) для обработки языка и генерации ответов.
Ключевые компоненты
LangChain Pipeline
- Создание промптов для SQL и ответов.
- Цепочки для обработки вопросов и результатов.
- Интеграция памяти для контекста.
OpenAI GPT-4o-mini
- Генерация SQL-запросов.
- Преобразование результатов в естественные ответы.
- Обработка контекстных вопросов.
SQLite Database
- Хранение данных о составах НБА.
- Предоставление схемы для LLM.
- Выполнение сгенерированных запросов.
Технический стек
- Backend: Python 3.8+
- AI/ML: OpenAI GPT-4o-mini
- Framework: LangChain
- Database: SQLite
- Configuration: python-dotenv
- Tools: sqlparse, logging
Особенности реализации
Модульность
- Разделение на логические блоки (SQL, ответы, база данных).
- Легкая замена компонентов (например, другой LLM).
Надежность
- Обработка ошибок для всех операций.
- Валидация SQL через sqlparse.
Производительность
- Оптимизация запросов через LangChain.
- Ограничение токенов в LLM.
Логирование
- Запись всех операций для отладки.
- Мониторинг выполнения запросов.
Ключевые особенности:
- Генерация точных SQL-запросов на основе вопросов.
- Ответы на русском языке в естественной форме.
- Поддержка контекстных вопросов через память.
- Обработка ошибок и валидация SQL для надежности.
- Модульная архитектура для масштабируемости.
- Логирование для упрощения отладки.
Скриншоты проекта
