Школа программирования В. Бовсуновского spb-tut.ru понятные уроки по Джанго. Идёт набор на курс индивидуального обучения. План написания собственного ИИ с нуля (смотреть раздел - выбрать план)..
Мини‑учебник — это только начало.
Основная цель — написать собственный ИИ.
Пройдите путь от нуля до полноценной нейросети, интегрируйте её в свой проект и получите навык, который меняет карьеру.
Начать путь к собственному ИИПрактический путь от базового скалярного внимания до полной языковой модели и интеграции в Django. Вы поймёте, как устроен Transformer, и сможете реализовать его компоненты самостоятельно.
В этом мини‑учебнике вы не просто используете готовые библиотеки, а пишете ключевые компоненты сами. Это позволяет понять внутреннюю механику внимания.
Каждый модуль включает:
Вы не просто повторяете чужой код, а создаёте собственные реализации, которые можно сравнить с эталонными.
Вывод: Такой подход формирует глубокое инженерное мышление и готовит к разработке собственных моделей.
Каждый модуль — это шаг от базовых концепций к полной реализации.
Познакомиться с курсом, настроить Python и библиотеки (torch, matplotlib, plotly, numpy), выполнить первые операции с тензорами.
Реализовать формулу Attention(Q,K,V)=softmax(Q·Kᵀ/√d_k)·V, понять, что такое запросы, ключи и значения.
Понять роль масштабирования на √d_k и свойства softmax, добавить поддержку маски.
Понять, зачем нужны несколько голов, как они работают параллельно и объединяются.
Понять, как запретить модели видеть будущее, как строится маска и применяется к вниманию.
Понять, как модель учитывает позицию токенов через вращение Q и K, и почему это лучше абсолютных эмбеддингов.
Собрать все компоненты (внимание, нормализацию, MLP, остаточные связи) в единый блок.
Построить полную языковую модель (эмбеддинги + стек блоков + LM head) и обучить её на тексте.
Встроить модель в Django, создать API для анализа текста, визуализировать матрицы внимания в браузере.
Вы пишете компоненты сами — это даёт непревзойдённую ясность работы Transformer.
Каждый модуль содержит код, который можно запустить, изменить и проверить на реальных данных.
От простого скалярного внимания к полному блоку — каждый шаг строится на предыдущем.
Финальный модуль показывает, как модель работает в реальном приложении с визуализацией внимания.
Начните изучение механизма внимания уже сегодня — освойте фундамент современных нейросетей.
Выбрать план и начать