Как реально работает GPT. Разрушаем мифы блогеров. Часть 1.
Владимир Иванов Часть 1. Введение в концепцию GPT, как трансформер был задуман Google концептуально Если что-то непонятно, задавай вопросы в https://t.me/turboproject #GPT #ИИ #AI #трансформер #искусственныйинтеллект - -- - -- - -- - -- - -- - -- - -- - -- наиболее интересные коменты с ответами автора: - -- - -- - -- - -- - -- - -- - -- - -- ﹥ Из тематических нейро блогеров могу выделить для начального ﹥ понимания вопроса такие два видео: "самое простое объяснение ﹥ нейросети" канал Программный Кот и " Как работает ИИ.." канал ﹥ Simple Automation - тут раскрыто применение высшей матиматики, ﹥ можно наконец-то понять зачем она вообще на практике. И много вы тут нашли высшей математики? Тут только Softmax и ReLU, немного среднего на нормализации. В режиме вывода нейросети высшей математики как дифференцирование и интегрирование не используется вообще. Такое есть немного только в режиме обучения нейросети через градиентный спуск, но там также матаппарат примитивный в исходном авторстве Ньютона. Тут вообще умножение и сложение на 95% ﹥ Подскажите, что Вы скажете про курс лекций, который сейчас в ﹥ качестве второго высшего образования или повышения квалификации ﹥ предлагает МИФИ совместно с SkillFactory? Онлайн-магистратура ﹥ «Машинное обучение» от НИЯУ МИФИ и SkillFactory — это двухлетняя ﹥ программа, стартующая в сентябре 2025 года. Смотря что вы хотите делать. Если вы планируете заниматься промптингом с ИИ и или генерировать код, то математика вам вообще не нужна. Если собираетесь даже обучать трансформеры на своих примерах, то математика вам снова не нужна для применения стандартных библиотек ИИ, скорее встанет вопрос как собрать data set. У нас действительно чрезмерный математический акцент исторически. По факту, это нужно самим разработчикам GPT, но в России не делают топовых GPT. Даже Yandex GPT и GigaChat уже закрыли свои разработки по факту поставили среднего размера китайца как Qwen 32b. Поэтому китайцам математики нужны для разработки Qwen и DeepSeek и то им не нужны тысячи математематиков, а от силы сотни. Куда собираются наши ВУЗы девать инженеров по разработке GPT в таком количестве для меня загадка. Это при том, что вокруг промптинга и методологии организации data set или vibe coding и конь не валялся. + Довольно мало есть качественных вводных материалов по ИИ. Поэтому и этот ролик стал вирусным. У нас есть канал Телеграм и чат, где мы разбираем вопросы сами. По обобщению постов я с ИИ создаю статьи. В этой описана аккумуляция десятков дискуссий о смыслах векторов GPT. https://vk.com/@turboplanner-vektora-gpt-ili-pochemu-dlya-gpt-vashe-slovo-pustota-bez-kon ﹥ Всё-таки мозг работает на порядки сложнее в плане своей организации ﹥ так как там происходят квантовые эффекты, плюс уже доказано что ﹥ нейроны по разному реагируют на разные частоты сигналов, те там ﹥ чисто аналоговая система которая еще и включает в себя фцию ﹥ времени и все это экспоненциально увеличивает количество возможных состояний Нейрон в базовой функции достаточно примитивен. Собственно, тот же Ронзенблатт просто копировал нейрон в железо. Сигмоид, который был до ReLU по факту копировал синапс, но постепенно выяснилось, что нейрон устроен тут неоптимально. Хотя нейрон имеет много разных фишек, но базовой функциональности, а именно она определят его поведение, он остается таким же примитивным. Просто это связано с тем, что нейроны лишь винтики в создание огромных макроструктур нашей коры как аттракторы. Там не требуется функциональность элемента, а его надежность и когерентность. Все нейроны, которые решили, что "свободные художники" немедленно исключаются аттрактором из себя, т.к. ему сложность элементарного элемента - это угроза целостности (когерентности). ﹥ Насчёт сравнения размеров мозга и количества связей. Давайте сравнивать ﹥ более корректно. У человека огромные доли мозга отведены на поддержание ﹥ механической деятельности и для органов чувств. Та часть мозга, ﹥ которая действительно занимается обработкой информации и непосредственной ﹥ мыслительной абстрактной деятельностью довольна мала. Особенно ﹥ её недостаток заметен у женщин. Так как часть этой области вытеснена ﹥ материнским функционалом, эмпатией и прочими ништяками для ﹥ поддержания рода. Возьмите кита. У него мозг весит 9кг. И большая ﹥ часть работает для поддержания его движения в воде, для сокращения мышц. У нас в чате https://t.me/turboproject есть два нейрофиозилога-ученых. Вы можете им рассказать свою теорию, думаю их критическая оценка вашего мнения у вас вызовет доверие больше, чем у меня + ну простые вещи вы и сами знаете и понимаете. Достаточно хорошо известно, что головной мозг состоит из полей и подполей. Поля выполняют глобальные функции. Например, зрительное поле или слуховое. Подполя выполняют вспомогательные функции. Допустим зрительное подполе может отличать горизонтальные полосы от вертикальных, распознавать геометрические фигуры, понимать цвета и оттенки и т.д.
Владимир Иванов Часть 1. Введение в концепцию GPT, как трансформер был задуман Google концептуально Если что-то непонятно, задавай вопросы в https://t.me/turboproject #GPT #ИИ #AI #трансформер #искусственныйинтеллект - -- - -- - -- - -- - -- - -- - -- - -- наиболее интересные коменты с ответами автора: - -- - -- - -- - -- - -- - -- - -- - -- ﹥ Из тематических нейро блогеров могу выделить для начального ﹥ понимания вопроса такие два видео: "самое простое объяснение ﹥ нейросети" канал Программный Кот и " Как работает ИИ.." канал ﹥ Simple Automation - тут раскрыто применение высшей матиматики, ﹥ можно наконец-то понять зачем она вообще на практике. И много вы тут нашли высшей математики? Тут только Softmax и ReLU, немного среднего на нормализации. В режиме вывода нейросети высшей математики как дифференцирование и интегрирование не используется вообще. Такое есть немного только в режиме обучения нейросети через градиентный спуск, но там также матаппарат примитивный в исходном авторстве Ньютона. Тут вообще умножение и сложение на 95% ﹥ Подскажите, что Вы скажете про курс лекций, который сейчас в ﹥ качестве второго высшего образования или повышения квалификации ﹥ предлагает МИФИ совместно с SkillFactory? Онлайн-магистратура ﹥ «Машинное обучение» от НИЯУ МИФИ и SkillFactory — это двухлетняя ﹥ программа, стартующая в сентябре 2025 года. Смотря что вы хотите делать. Если вы планируете заниматься промптингом с ИИ и или генерировать код, то математика вам вообще не нужна. Если собираетесь даже обучать трансформеры на своих примерах, то математика вам снова не нужна для применения стандартных библиотек ИИ, скорее встанет вопрос как собрать data set. У нас действительно чрезмерный математический акцент исторически. По факту, это нужно самим разработчикам GPT, но в России не делают топовых GPT. Даже Yandex GPT и GigaChat уже закрыли свои разработки по факту поставили среднего размера китайца как Qwen 32b. Поэтому китайцам математики нужны для разработки Qwen и DeepSeek и то им не нужны тысячи математематиков, а от силы сотни. Куда собираются наши ВУЗы девать инженеров по разработке GPT в таком количестве для меня загадка. Это при том, что вокруг промптинга и методологии организации data set или vibe coding и конь не валялся. + Довольно мало есть качественных вводных материалов по ИИ. Поэтому и этот ролик стал вирусным. У нас есть канал Телеграм и чат, где мы разбираем вопросы сами. По обобщению постов я с ИИ создаю статьи. В этой описана аккумуляция десятков дискуссий о смыслах векторов GPT. https://vk.com/@turboplanner-vektora-gpt-ili-pochemu-dlya-gpt-vashe-slovo-pustota-bez-kon ﹥ Всё-таки мозг работает на порядки сложнее в плане своей организации ﹥ так как там происходят квантовые эффекты, плюс уже доказано что ﹥ нейроны по разному реагируют на разные частоты сигналов, те там ﹥ чисто аналоговая система которая еще и включает в себя фцию ﹥ времени и все это экспоненциально увеличивает количество возможных состояний Нейрон в базовой функции достаточно примитивен. Собственно, тот же Ронзенблатт просто копировал нейрон в железо. Сигмоид, который был до ReLU по факту копировал синапс, но постепенно выяснилось, что нейрон устроен тут неоптимально. Хотя нейрон имеет много разных фишек, но базовой функциональности, а именно она определят его поведение, он остается таким же примитивным. Просто это связано с тем, что нейроны лишь винтики в создание огромных макроструктур нашей коры как аттракторы. Там не требуется функциональность элемента, а его надежность и когерентность. Все нейроны, которые решили, что "свободные художники" немедленно исключаются аттрактором из себя, т.к. ему сложность элементарного элемента - это угроза целостности (когерентности). ﹥ Насчёт сравнения размеров мозга и количества связей. Давайте сравнивать ﹥ более корректно. У человека огромные доли мозга отведены на поддержание ﹥ механической деятельности и для органов чувств. Та часть мозга, ﹥ которая действительно занимается обработкой информации и непосредственной ﹥ мыслительной абстрактной деятельностью довольна мала. Особенно ﹥ её недостаток заметен у женщин. Так как часть этой области вытеснена ﹥ материнским функционалом, эмпатией и прочими ништяками для ﹥ поддержания рода. Возьмите кита. У него мозг весит 9кг. И большая ﹥ часть работает для поддержания его движения в воде, для сокращения мышц. У нас в чате https://t.me/turboproject есть два нейрофиозилога-ученых. Вы можете им рассказать свою теорию, думаю их критическая оценка вашего мнения у вас вызовет доверие больше, чем у меня + ну простые вещи вы и сами знаете и понимаете. Достаточно хорошо известно, что головной мозг состоит из полей и подполей. Поля выполняют глобальные функции. Например, зрительное поле или слуховое. Подполя выполняют вспомогательные функции. Допустим зрительное подполе может отличать горизонтальные полосы от вертикальных, распознавать геометрические фигуры, понимать цвета и оттенки и т.д.