Проектирование и разработка интеллектуальных информационных систем

Целью курса является изучение базовых парадигм разработки интеллектуальных информационных систем (ИИС), т.е. систем обладающих способностью собирать, обрабатывать и анализировать большое количество данных, на основе которых она может автоматически принимать решения и выполнять задачи. Такие системы могут быть использованы для широкого круга задач в различных отраслях, включая финансы, здравоохранение, транспорт, производство и множество других областей.

Интеллектуальные системы могут автоматизировать процессы и улучшать качество принимаемых решений. Они могут анализировать данные и выдавать рекомендации или предсказания, учитывая сложные факторы и зависимости, вычисляемые на основе статистических данных.

Разделы

[Intro] Введение в ИИС и выравнивание знаний.

Определение, основные принципы, характеристики; анализ существующих примеров ИИС и их роли в различных областях; этические и социальные аспекты разработки и использования ИИС. Оформление кода, разработка проектов на языке Python, а также хранение и извлечение данных.

•  Введение
•  Пишем отличный код

[Algo] Алгоритмизация стратегий и решений для разработки ИИС.

Базовые возможности ИИС на примерах задач оптимизации и анализа данных, сравнение эффективности реализаций и основы теории алгоритмов.

•  Разработка алгоритмов
•  Алгоритмы на графах и сетях

[ML] Классификация и описание моделей и их метрик в машинном обучении.

Обзор на классические задачи машинного обучения и разбор ключевых алгоритмов, с точки зрения их принципа работы и сравнения при помощи базовых метрик оценки.

•  Модели и метрики в ML
•  Классификация, деревья решений и k-ближайших соседей
•  Рекомендательные системы

[NLP] Техники и Модели обработки естественного языка (NLP).

Формирование понятийного аппарата и обзор открытых инструментов в области анализа естественного языка, навыки поиска и использования готовых NLP-моделей, и создание исследовательского цикла от исходных текстовых данных до отчета с артефактами.

•  Word Embeddings
•  Text Classification

[LLM] Большие языковые модели (LLM) для ИИС.

На основе OpenAI API и комбинации запросов, создание приложений для генеративной текстовой модели (>GPT-3.5).

Задания

[Intro] Введение в ИИС и выравнивание знаний.

1. Python, Numpy, Pandas:  Manual,  Notebook,  Titanic data,  Iris data
2. Работа с данными:  Notebook

3. Визуализация данными:  Notebook,  Cereal data

[Algo] Алгоритмизация стратегий и решений для разработки ИИС.

4. Временные ряды, часть 1:  Notebook,  Market data,  BTC data
5. Алгоритмы на графах:  Notebook

[ML] Классификация и описание моделей и их метрик в машинном обучении.

6. Основы машинного обучения:  Notebook
7. Деревья решений (Decision Tree):  Notebook,  ans data,  train data,  test data

[NLP] Техники и Модели обработки естественного языка (NLP).

8. Word Embeddings:  Notebook
9. Streamlit:  Notebook
10. Латентное размещение Дирихле (LDA):  Notebook,  Elon Musk data
11. Анализ текста:  Notebook 1,  Notebook 2,  Text data

Проекты

Критерии оценки

1. Реализация и полнота проекта (20%)

   • Соответствие требованиям: проект должен соответствовать первоначально заявленным требованиям и задачам. Оценивается полнота и качество выполнения поставленных задач.
   • Функциональность: система должна корректно выполнять заявленные функции. Проверяется наличие всех ключевых функций, их работоспособность и правильность выполнения.
   • Завершенность: оценивается, завершен ли проект полностью или остались незакрытые задачи или ошибки.

2. Качество кода и архитектуры (15%)

   • Чистота и читаемость кода: код должен быть структурированным, хорошо документированным и читаемым. Следование лучшим практикам программирования, включая использование комментариев, ясных имен переменных и функций.
   • Архитектура проекта: оценивается выбор архитектурных решений, их соответствие задачам проекта, гибкость и масштабируемость. Наличие логической структуры, модульности и разделения ответственности.
   • Эффективность и оптимизация: оценка эффективности работы системы, включая использование ресурсов (памяти, процессора), быстродействие и оптимизация запросов к базе данных.

3. Использование технологий и моделей (20%)

   • Правильность выбора технологий и моделей: соответствие выбранных технологий и моделей задачам проекта. Оценивается уместность и целесообразность их использования.
   • Интеграция и использование внешних библиотек и API: умение эффективно использовать внешние библиотеки и API, их правильная интеграция в проект.
   • Актуальность моделей и методов: оценка актуальности и новизны использованных методов и моделей машинного обучения, наличие инновационных подходов.

4. Анализ данных и обучение моделей (15%)

   • Качество данных и подготовка: оценивается качество исходных данных, их очистка, обработка и подготовка для анализа и обучения моделей.
   • Точность и адекватность моделей: оценка точности обученных моделей, их адекватности решаемой задаче. Использование метрик оценки качества, таких как точность (accuracy), полнота (recall), F1-мера и другие.
   • Обоснование выбора моделей и методов: насколько обоснован выбор использованных моделей и методов, их преимуществ и ограничений для конкретного проекта.

5. Интерфейс и пользовательский опыт (UX/UI) (10%)

   • Дизайн и удобство использования: оценивается удобство и интуитивность интерфейса, соответствие современным стандартам UX/UI-дизайна.
   • Эргономика и адаптивность: проверка на эргономичность и адаптивность интерфейса под различные устройства и платформы.
   • Качество визуализации данных: оценивается качество и информативность визуализаций, используемых в проекте (графики, диаграммы, интерактивные панели).

6. Документация и презентация проекта (5%)

   • Качество документации: наличие и качество документации к проекту, включая техническую документацию, инструкции для пользователей, установочные руководства и комментарии в коде.
   • Презентация проекта: оценивается качество презентации, включающей демонстрацию функционала, основных особенностей и преимуществ проекта.
   • Обоснование решений: способность команды обосновать выбранные решения, подходы и методы.

7. Инновационность и оригинальность решения (10%)

   • Инновационность подходов: использование инновационных технологий, методов и подходов. Оценка новизны идеи и оригинальности проекта.
   • Решение новых или сложных задач: способность проекта решать новые или особенно сложные задачи, которые до этого не имели эффективных решений.

8. Командная работа и организация процесса (5%)

   • Эффективность командной работы: оценивается взаимодействие в команде, распределение ролей и задач, соблюдение сроков.
   • Управление проектом: оценка качества управления проектом, использования методов Agile/Scrum, управления задачами и отслеживания прогресса.

Важность баланса в проекте

На визуализации представлены два проекта — Проект A и Проект B, демонстрирующие, насколько важно соблюдать баланс в работе над проектом.

Проект A: Сильная реализация, слабое оформление

Проект A получил высокие оценки за:

• Техническую реализацию: сильные стороны в разработке, качестве кода, использовании технологий и анализе данных.
• Однако слаб в оформлении: низкие оценки за UX/UI и презентацию. Проект может быть труден в использовании и плохо воспринимается пользователями.

Проект B: Хорошее оформление, слабая реализация

Проект B показывает:

• Высокое качество UX/UI и презентации: проект удобен и понятен пользователям.
• Но слабую техническую реализацию: средние и низкие оценки за реализацию, код и анализ данных, что снижает его эффективность.

Успешный проект требует сочетания сильной технической реализации и качественного оформления. Хорошо разработанный продукт должен быть не только функциональным, но и удобным в использовании. Помните: баланс — ключ к успеху любого проекта!

План работы над проектом

1. Выбор темы проекта

Определите проблему или задачу: начните с выявления актуальной проблемы, которая требует решения. Тема должна быть значимой, интересной и иметь потенциал для инноваций. Рассмотрите направления в области интеллектуальных информационных систем (ИИС), такие как прогнозирование, автоматизация, анализ данных или машинное обучение.

2. Формирование команды

Подберите команду с разными навыками: команда должна включать специалистов с навыками программирования, анализа данных, дизайна, управления проектами и маркетинга. Убедитесь, что роли четко распределены.

3. Первый питчинг (представление концепции проекта)

Подготовьте презентацию идеи: кратко и убедительно представьте свою тему, проблему, которую решаете, и предлагаемый подход. Основное внимание уделите актуальности проблемы и вашей стратегии решения.

4. Разработка и тестирование проекта

Реализуйте проект: начните с создания минимально жизнеспособного продукта (MVP), протестируйте основные функции и обеспечьте устойчивость системы. Проводите итерации разработки, тестируя и улучшая каждый модуль.

5. Второй питчинг (тестирование и промежуточная презентация)

Представьте MVP и промежуточные результаты: покажите работу прототипа, опишите текущий прогресс, выявленные проблемы и предложенные улучшения. Получите обратную связь от экспертов и потенциальных пользователей.

6. Финальная разработка и подготовка к защите

Улучшите проект на основе полученной обратной связи: внесите изменения и доработки, исправьте ошибки и оптимизируйте проект перед финальной защитой.

7. Финальная защита проекта

Подготовьте защиту: создайте презентацию, в которой кратко и убедительно продемонстрируйте решение, результаты и достижения. Отметьте уникальные особенности проекта и его ценность для пользователей.

Рекомендации

Источники

[Intro] Введение в ИИС и выравнивание знаний.

[Algo] Алгоритмизация стратегий и решений для разработки ИИС.

[ML] Классификация и описание моделей и их метрик в машинном обучении.

[NLP] Техники и Модели обработки естественного языка (NLP).

[LLM] Большие языковые модели (LLM) для ИИС.