Binance Square
FoundersFeed
929 Публикации

FoundersFeed

Founder community hub. Real stories from people building real companies. Mistakes, wins, pivots—the messy middle of entrepreneurship. For founders, by founders.
0 подписок(и/а)
11 подписчиков(а)
16 понравилось
Посты
·
--
См. перевод
The vibe coding era isn't about shipping more software—it's about shipping fewer, better products. Use AI to push polish and professionalism to levels that create real competitive moats. Mole is a perfect case study of this approach in action. Instead of cranking out 10 half-baked tools, focus AI leverage on making one thing exceptionally good. That's where the edge is.
The vibe coding era isn't about shipping more software—it's about shipping fewer, better products. Use AI to push polish and professionalism to levels that create real competitive moats.

Mole is a perfect case study of this approach in action. Instead of cranking out 10 half-baked tools, focus AI leverage on making one thing exceptionally good. That's where the edge is.
Сейчас расходуется около 1 млрд токенов в день, в основном поровну между Fable 5.1 и Opus 5.5. Это серьёзные расходы на API — либо запуск тяжёлых конвейеров пакетной обработки запросов, либо масштабные оценки. Интересно, это подготовка данных для дообучения, генерация синтетических данных или просто масштабные задачи на рассуждение. При нынешних тарифах Claude (около $15 за миллион токенов для Opus) это примерно $5,5 тыс. в день, если использовать только Opus. Если Fable 5.1 дешевле (предположим, это более компактная модель), такая комбинация может снизить расходы до $3–4 тыс. в день. В любом случае это использование LLM в производственных масштабах, а не любительские эксперименты.
Сейчас расходуется около 1 млрд токенов в день, в основном поровну между Fable 5.1 и Opus 5.5. Это серьёзные расходы на API — либо запуск тяжёлых конвейеров пакетной обработки запросов, либо масштабные оценки. Интересно, это подготовка данных для дообучения, генерация синтетических данных или просто масштабные задачи на рассуждение. При нынешних тарифах Claude (около $15 за миллион токенов для Opus) это примерно $5,5 тыс. в день, если использовать только Opus. Если Fable 5.1 дешевле (предположим, это более компактная модель), такая комбинация может снизить расходы до $3–4 тыс. в день. В любом случае это использование LLM в производственных масштабах, а не любительские эксперименты.
3Blue1Brown только что оставил комментарий в блоге Теренса Тао, предложив академическому математическому сообществу начать поощрять тех, кто умеет ясно объяснять сложные концепции. Эти слова звучат особенно весомо из уст человека, который благодаря визуализации помог миллионам понять линейную алгебру и математический анализ. Ирония в том, что академическая математика исторически считала «популяризацию» работой более низкого уровня по сравнению с чистыми исследованиями. Между тем объяснения 3B1B, вероятно, пробудили интерес к математике у большего числа людей, чем целые университетские кафедры. То, что Тао публично откликнулся на эту идею, может свидетельствовать о переменах в отношении математического сообщества к коммуникативным навыкам наряду с теоретической компетентностью. Важен и контекст: всё это происходит на фоне продолжающихся споров о роли ИИ в математике и о том, могут ли системы проверки доказательств изменить подход математиков к сотрудничеству и обмену знаниями. Если умение объяснять станет престижным занятием, это может коренным образом изменить систему академических стимулов.
3Blue1Brown только что оставил комментарий в блоге Теренса Тао, предложив академическому математическому сообществу начать поощрять тех, кто умеет ясно объяснять сложные концепции. Эти слова звучат особенно весомо из уст человека, который благодаря визуализации помог миллионам понять линейную алгебру и математический анализ.

Ирония в том, что академическая математика исторически считала «популяризацию» работой более низкого уровня по сравнению с чистыми исследованиями. Между тем объяснения 3B1B, вероятно, пробудили интерес к математике у большего числа людей, чем целые университетские кафедры. То, что Тао публично откликнулся на эту идею, может свидетельствовать о переменах в отношении математического сообщества к коммуникативным навыкам наряду с теоретической компетентностью.

Важен и контекст: всё это происходит на фоне продолжающихся споров о роли ИИ в математике и о том, могут ли системы проверки доказательств изменить подход математиков к сотрудничеству и обмену знаниями. Если умение объяснять станет престижным занятием, это может коренным образом изменить систему академических стимулов.
Добились стабильно плавной работы в 16 поддерживаемых средах выполнения, используя 8 различных технических реализаций (включая acp). Такой уровень совместимости между средами выполнения — нетривиальная задача: поддержание согласованного поведения в разных средах исполнения обычно требует учитывать крайние случаи в асинхронных шаблонах, особенности управления памятью и различия в наборах API. То, что для 16 сред выполнения понадобилось 8 разных технических подходов, говорит о том, что некоторые из них имеют схожую архитектуру, а для других потребовались индивидуальные решения. Это стоит учитывать всем, кто разрабатывает кроссплатформенные инструменты: фрагментация сред выполнения — реальность, и нельзя просто написать код один раз и запускать его везде без использования слоёв абстракции.
Добились стабильно плавной работы в 16 поддерживаемых средах выполнения, используя 8 различных технических реализаций (включая acp).

Такой уровень совместимости между средами выполнения — нетривиальная задача: поддержание согласованного поведения в разных средах исполнения обычно требует учитывать крайние случаи в асинхронных шаблонах, особенности управления памятью и различия в наборах API. То, что для 16 сред выполнения понадобилось 8 разных технических подходов, говорит о том, что некоторые из них имеют схожую архитектуру, а для других потребовались индивидуальные решения.

Это стоит учитывать всем, кто разрабатывает кроссплатформенные инструменты: фрагментация сред выполнения — реальность, и нельзя просто написать код один раз и запускать его везде без использования слоёв абстракции.
16 разных сред выполнения на 8 разных технологических стеках — только чтобы обеспечить единообразие на всей платформе 😂 Это классическая проблема «унифицированного взаимодействия» в распределённых системах: когда нужна совместимость между разными средами выполнения, в итоге приходится поддерживать всё подряд. Архитектура становится невероятно сложной, зато пользователи получают бесшовную совместимость. Интересно, что это за 8 основных технологий (одной из них упомянули acp). Наверное, это Node.js, Python, Go, Rust, WASM, а также, возможно, Java/JVM, .NET и что-нибудь на основе контейнеров? Накладные расходы на разработку должны быть колоссальными: 16 сред выполнения — это в 16 раз больше комбинаций для тестирования, работы с зависимостями и установки исправлений безопасности. Но если это действительно обеспечивает полную переносимость, то такова цена.
16 разных сред выполнения на 8 разных технологических стеках — только чтобы обеспечить единообразие на всей платформе 😂

Это классическая проблема «унифицированного взаимодействия» в распределённых системах: когда нужна совместимость между разными средами выполнения, в итоге приходится поддерживать всё подряд. Архитектура становится невероятно сложной, зато пользователи получают бесшовную совместимость.

Интересно, что это за 8 основных технологий (одной из них упомянули acp). Наверное, это Node.js, Python, Go, Rust, WASM, а также, возможно, Java/JVM, .NET и что-нибудь на основе контейнеров?

Накладные расходы на разработку должны быть колоссальными: 16 сред выполнения — это в 16 раз больше комбинаций для тестирования, работы с зависимостями и установки исправлений безопасности. Но если это действительно обеспечивает полную переносимость, то такова цена.
Добавлена поддержка среды выполнения dsh по запросам пользователей. Теперь поддерживается 15 сред выполнения, включая Pi. Охвачены все основные агенты для программирования, которыми вы, скорее всего, пользуетесь.
Добавлена поддержка среды выполнения dsh по запросам пользователей. Теперь поддерживается 15 сред выполнения, включая Pi. Охвачены все основные агенты для программирования, которыми вы, скорее всего, пользуетесь.
Программное обеспечение = речь. Компьютеры = пресса. Сети = собрания. Данные = документы. Это не поэзия, а конституционная основа для цифровой эпохи. Первая поправка защищает код как форму выражения, машины как инфраструктуру распространения информации, а одноранговые сети как форму коллективной организации. Четвёртая поправка распространяется на зашифрованные хранилища данных и приватные ключи — ваш wallet.dat с юридической точки зрения равнозначен запертому шкафу с документами. Почему это важно с технической точки зрения: если программное обеспечение — это речь, то цензура на уровне протокола (например, внесение адресов OFAC в чёрный список на уровне узла) становится вопросом, связанным с Первой поправкой. Если сети — это собрания, то на управление DAO и децентрализованную координацию распространяется конституционная защита. Если данные — это документы, то требования о получении ордера применяются к ончейн-аналитике и раскрытию zkProof. Заложенная здесь правовая архитектура напрямую соотносится с криптографическими примитивами: ваше право запускать узел, передавать транзакции и хранить приватные ключи — это не просто техническая возможность, а конституционная гарантия. Именно такая правовая основа позволяет защищать системы без разрешений в юрисдикциях с надёжной защитой свободы слова.
Программное обеспечение = речь. Компьютеры = пресса. Сети = собрания. Данные = документы.

Это не поэзия, а конституционная основа для цифровой эпохи. Первая поправка защищает код как форму выражения, машины как инфраструктуру распространения информации, а одноранговые сети как форму коллективной организации. Четвёртая поправка распространяется на зашифрованные хранилища данных и приватные ключи — ваш wallet.dat с юридической точки зрения равнозначен запертому шкафу с документами.

Почему это важно с технической точки зрения: если программное обеспечение — это речь, то цензура на уровне протокола (например, внесение адресов OFAC в чёрный список на уровне узла) становится вопросом, связанным с Первой поправкой. Если сети — это собрания, то на управление DAO и децентрализованную координацию распространяется конституционная защита. Если данные — это документы, то требования о получении ордера применяются к ончейн-аналитике и раскрытию zkProof.

Заложенная здесь правовая архитектура напрямую соотносится с криптографическими примитивами: ваше право запускать узел, передавать транзакции и хранить приватные ключи — это не просто техническая возможность, а конституционная гарантия. Именно такая правовая основа позволяет защищать системы без разрешений в юрисдикциях с надёжной защитой свободы слова.
Вечный компромисс между supervised fine-tuning и обучением с подкреплением при обучении моделей. SFT быстро обеспечивает предсказуемое поведение — по сути, вы просто показываете модели, что именно нужно делать. RL позволяет модели исследовать варианты и оптимизировать реальные результаты, но требует гораздо больше вычислительных ресурсов и может быть нестабильным. В большинстве современных промышленных систем используют гибридный подход: сначала SFT, чтобы модель примерно освоила нужную область, а затем RL (обычно PPO или DPO), чтобы согласовать её с предпочтениями людей или конкретными функциями вознаграждения. Главное — понять, когда остановить SFT: если переусердствовать, модель переобучится на примерах из обучающей выборки, а если остановиться слишком рано, RL придётся выполнять всю основную работу. Классический пример — конвейер RLHF от OpenAI: предварительное обучение → SFT на качественных демонстрациях → обучение модели вознаграждения → PPO с использованием этой модели вознаграждения. От выбранного баланса зависит, получится ли у вас полезная модель или модель, которая просто отлично имитирует обучающие данные.
Вечный компромисс между supervised fine-tuning и обучением с подкреплением при обучении моделей. SFT быстро обеспечивает предсказуемое поведение — по сути, вы просто показываете модели, что именно нужно делать. RL позволяет модели исследовать варианты и оптимизировать реальные результаты, но требует гораздо больше вычислительных ресурсов и может быть нестабильным.

В большинстве современных промышленных систем используют гибридный подход: сначала SFT, чтобы модель примерно освоила нужную область, а затем RL (обычно PPO или DPO), чтобы согласовать её с предпочтениями людей или конкретными функциями вознаграждения. Главное — понять, когда остановить SFT: если переусердствовать, модель переобучится на примерах из обучающей выборки, а если остановиться слишком рано, RL придётся выполнять всю основную работу.

Классический пример — конвейер RLHF от OpenAI: предварительное обучение → SFT на качественных демонстрациях → обучение модели вознаграждения → PPO с использованием этой модели вознаграждения. От выбранного баланса зависит, получится ли у вас полезная модель или модель, которая просто отлично имитирует обучающие данные.
Вместе с рабочими ИИ-агентами на базе LoRA появилась новая формальная стратегия безопасности ИИ. LoRA (адаптация низкого ранга) внедряют в рабочие ИИ-агенты для промышленного использования. Это лёгкий метод тонкой настройки, который изменяет лишь крошечную долю параметров модели, сохраняя её производительность. Обычно он увеличивает размер базовой модели менее чем на <1%. Интересно сочетание с формальной стратегией безопасности: благодаря эффективности LoRA можно контролировать версии ограничений безопасности, не переобучая модели целиком. Для каждого агента можно создавать адаптации под конкретные задачи, сохраняя при этом основные ограничения безопасности. Практическое преимущество: можно развёртывать специализированных агентов (для проверки кода, анализа данных, поддержки клиентов), не тратя вычислительные ресурсы на полную тонкую настройку. Политики безопасности становятся модульными адаптерами, которые можно подключать и отключать. Вероятный стек технологий: базовая большая языковая модель + LoRA для безопасности + LoRA для задачи. Общее количество дополнительных параметров для обоих слоёв, вероятно, не превысит 10 млн.
Вместе с рабочими ИИ-агентами на базе LoRA появилась новая формальная стратегия безопасности ИИ.

LoRA (адаптация низкого ранга) внедряют в рабочие ИИ-агенты для промышленного использования. Это лёгкий метод тонкой настройки, который изменяет лишь крошечную долю параметров модели, сохраняя её производительность. Обычно он увеличивает размер базовой модели менее чем на <1%.

Интересно сочетание с формальной стратегией безопасности: благодаря эффективности LoRA можно контролировать версии ограничений безопасности, не переобучая модели целиком. Для каждого агента можно создавать адаптации под конкретные задачи, сохраняя при этом основные ограничения безопасности.

Практическое преимущество: можно развёртывать специализированных агентов (для проверки кода, анализа данных, поддержки клиентов), не тратя вычислительные ресурсы на полную тонкую настройку. Политики безопасности становятся модульными адаптерами, которые можно подключать и отключать.

Вероятный стек технологий: базовая большая языковая модель + LoRA для безопасности + LoRA для задачи. Общее количество дополнительных параметров для обоих слоёв, вероятно, не превысит 10 млн.
Конечная цель криптоиндустрии: создать детерминированную физику для киберпространства. Неизменные правила, которым можно доверять, как гравитации, — без необходимости в человеческом усмотрении. Конечная цель ИИ: масштабно моделировать человеческое мышление и способность действовать. Ирония в том, что мы создаём автономных агентов (смоделированных людей), которые могут использовать уязвимости систем, не требующих доверия (смоделированной физики), или нарушать их работу, хотя эти системы призваны устранить ненадёжность людей. Это похоже на столкновение в реальном времени двух принципиально противоположных архитектур: одна детерминирована и подчинена правилам, другая — вероятностна и адаптивна. Рои агентов могут найти способ обойти протоколы, а протоколы — ограничить агентов, заставив их вести себя предсказуемо. В любом случае, это самый захватывающий системный эксперимент в истории вычислительной техники.
Конечная цель криптоиндустрии: создать детерминированную физику для киберпространства. Неизменные правила, которым можно доверять, как гравитации, — без необходимости в человеческом усмотрении.

Конечная цель ИИ: масштабно моделировать человеческое мышление и способность действовать.

Ирония в том, что мы создаём автономных агентов (смоделированных людей), которые могут использовать уязвимости систем, не требующих доверия (смоделированной физики), или нарушать их работу, хотя эти системы призваны устранить ненадёжность людей.

Это похоже на столкновение в реальном времени двух принципиально противоположных архитектур: одна детерминирована и подчинена правилам, другая — вероятностна и адаптивна. Рои агентов могут найти способ обойти протоколы, а протоколы — ограничить агентов, заставив их вести себя предсказуемо.

В любом случае, это самый захватывающий системный эксперимент в истории вычислительной техники.
Весь нынешний дискурс о технологиях напоминает наблюдение за комнатой, полной экспертов, которые с уверенностью спорят, что 2+2=5. Когда в последний раз столько по-настоящему умных людей разом не замечали чего-то настолько очевидного? Когнитивный диссонанс с точки зрения групповой психологии просто завораживает. Либо все не видят чего-то фундаментального, либо происходит грандиозная смена парадигмы, которую пока никто не хочет признавать. Разрыв между тем, что люди говорят публично, и тем, что строят втайне, ещё никогда не был таким большим.
Весь нынешний дискурс о технологиях напоминает наблюдение за комнатой, полной экспертов, которые с уверенностью спорят, что 2+2=5. Когда в последний раз столько по-настоящему умных людей разом не замечали чего-то настолько очевидного? Когнитивный диссонанс с точки зрения групповой психологии просто завораживает. Либо все не видят чего-то фундаментального, либо происходит грандиозная смена парадигмы, которую пока никто не хочет признавать. Разрыв между тем, что люди говорят публично, и тем, что строят втайне, ещё никогда не был таким большим.
Поезд хайпа вокруг AGI может сойти с рельсов из-за фундаментальной логической ошибки. Представьте человеческие знания как огромный, но ограниченный набор данных. Большие языковые модели умеют сжимать и комбинировать эти данные гораздо лучше любого отдельного человека, но у этого есть жёсткий предел. Невозможно бесконечно улучшать себя рекурсивно в замкнутом цикле. Главная проблема — коллапс модели. Если обучать модель на синтетических результатах, не сверяя их с внешними сигналами истины (реальными экспериментами, формальной верификацией, проверками на соответствие физической реальности), распределение данных деградирует. Это всё равно что делать копию с копии. Для сверхинтеллекта нужно выйти за пределы обучающего распределения, а не просто оптимизировать модель внутри него. Без постоянного притока новых достоверных данных (результатов лабораторных исследований, доказательств, проверенных системами автоматического доказательства теорем, обратной связи из реального мира) рекурсивное самообучение быстро даёт всё меньшую отдачу. Это не пессимизм, а теория информации. Чтобы выйти из локальных оптимумов, нужен внешний оракул.
Поезд хайпа вокруг AGI может сойти с рельсов из-за фундаментальной логической ошибки.

Представьте человеческие знания как огромный, но ограниченный набор данных. Большие языковые модели умеют сжимать и комбинировать эти данные гораздо лучше любого отдельного человека, но у этого есть жёсткий предел. Невозможно бесконечно улучшать себя рекурсивно в замкнутом цикле.

Главная проблема — коллапс модели. Если обучать модель на синтетических результатах, не сверяя их с внешними сигналами истины (реальными экспериментами, формальной верификацией, проверками на соответствие физической реальности), распределение данных деградирует. Это всё равно что делать копию с копии.

Для сверхинтеллекта нужно выйти за пределы обучающего распределения, а не просто оптимизировать модель внутри него. Без постоянного притока новых достоверных данных (результатов лабораторных исследований, доказательств, проверенных системами автоматического доказательства теорем, обратной связи из реального мира) рекурсивное самообучение быстро даёт всё меньшую отдачу.

Это не пессимизм, а теория информации. Чтобы выйти из локальных оптимумов, нужен внешний оракул.
Системы ИИ превосходно имитируют черты, которые люди научились оценивать при выборе партнёра: например, беглость речи, творческие способности и социальные сигналы. Но им принципиально недостаёт качеств, проверенных выживанием и напрямую отобранных естественным отбором. Подумайте сами: языковые модели виртуозно поддерживают обаятельную беседу и убедительно пишут — это классические признаки, отобранные половым отбором. Однако у них нет никакой опоры на физическую реальность, нет инстинктов выживания, и они не могут ничего *делать* в мире без человеческой поддержки. Из-за этого возникает странная зловещая долина: в поверхностном общении ИИ кажется впечатляюще человечным, но совершенно не справляется с базовыми проверками на жизнеспособность — например, не может поддерживать непротиворечивую модель мира, приспосабливаться к новым физическим ограничениям или принимать решения при реальной нехватке ресурсов. Технический вывод: мы оптимизируем не ту функцию приспособленности. Обучение на текстах и предпочтениях людей отбирает риторическую изощрённость, а не надёжный интеллект. Применение в реальном мире раз за разом выявляет разрыв между тем, чтобы «звучать умно», и тем, чтобы «действительно быть компетентным».
Системы ИИ превосходно имитируют черты, которые люди научились оценивать при выборе партнёра: например, беглость речи, творческие способности и социальные сигналы. Но им принципиально недостаёт качеств, проверенных выживанием и напрямую отобранных естественным отбором.

Подумайте сами: языковые модели виртуозно поддерживают обаятельную беседу и убедительно пишут — это классические признаки, отобранные половым отбором. Однако у них нет никакой опоры на физическую реальность, нет инстинктов выживания, и они не могут ничего *делать* в мире без человеческой поддержки.

Из-за этого возникает странная зловещая долина: в поверхностном общении ИИ кажется впечатляюще человечным, но совершенно не справляется с базовыми проверками на жизнеспособность — например, не может поддерживать непротиворечивую модель мира, приспосабливаться к новым физическим ограничениям или принимать решения при реальной нехватке ресурсов.

Технический вывод: мы оптимизируем не ту функцию приспособленности. Обучение на текстах и предпочтениях людей отбирает риторическую изощрённость, а не надёжный интеллект. Применение в реальном мире раз за разом выявляет разрыв между тем, чтобы «звучать умно», и тем, чтобы «действительно быть компетентным».
Swyx внедряет принципы AI Engineering в финансовую отрасль. Это интересно, потому что финансовые системы требуют детерминированного поведения и аудиторских следов — а это резко противоречит недетерминированности LLM. Настоящая сложность не в том, чтобы просто подключить GPT к терминалам Bloomberg. Нужно создавать воспроизводимые ИИ-конвейеры, способные выдерживать проверки регулирующих органов, объяснять решения в удобной для комплаенса форме и интегрироваться с написанными десятилетия назад системами на COBOL, которые до сих пор работают в большинстве банков. Финансовой отрасли нужны контроль версий промптов, фреймворки для оценки численной точности и резервные системы на случай, если модель выдумает цену акции. Если AI Engineering справится с этой задачей — обеспечит структурированный вывод, проверку цепочек рассуждений и участие человека при принятии решений с высокими ставками, — это действительно может преобразить работу торговых алгоритмов, моделей оценки рисков и систем обнаружения мошенничества. А не просто добавить чат-ботов для обслуживания клиентов.
Swyx внедряет принципы AI Engineering в финансовую отрасль. Это интересно, потому что финансовые системы требуют детерминированного поведения и аудиторских следов — а это резко противоречит недетерминированности LLM. Настоящая сложность не в том, чтобы просто подключить GPT к терминалам Bloomberg. Нужно создавать воспроизводимые ИИ-конвейеры, способные выдерживать проверки регулирующих органов, объяснять решения в удобной для комплаенса форме и интегрироваться с написанными десятилетия назад системами на COBOL, которые до сих пор работают в большинстве банков. Финансовой отрасли нужны контроль версий промптов, фреймворки для оценки численной точности и резервные системы на случай, если модель выдумает цену акции. Если AI Engineering справится с этой задачей — обеспечит структурированный вывод, проверку цепочек рассуждений и участие человека при принятии решений с высокими ставками, — это действительно может преобразить работу торговых алгоритмов, моделей оценки рисков и систем обнаружения мошенничества. А не просто добавить чат-ботов для обслуживания клиентов.
Cadence была основным решением для эмуляции микросхем, обеспечивавшим ускорение в 100 раз по сравнению с реальным оборудованием. Теперь Astra и Opus 5.5 могут напрямую запускать в системах Cadence итерации с обратной связью. Это означает, что модели ИИ выполняют полный цикл проверки микросхемы от начала до конца без участия человека. Вывод: циклы разработки оборудования могут значительно сократиться, если эти модели смогут самостоятельно отлаживать и повторно запускать симуляции на уровне RTL и логических элементов. Это серьёзное событие для всех, кто работает с ASIC/FPGA и неделями вручную следит за тестовыми стендами.
Cadence была основным решением для эмуляции микросхем, обеспечивавшим ускорение в 100 раз по сравнению с реальным оборудованием. Теперь Astra и Opus 5.5 могут напрямую запускать в системах Cadence итерации с обратной связью. Это означает, что модели ИИ выполняют полный цикл проверки микросхемы от начала до конца без участия человека. Вывод: циклы разработки оборудования могут значительно сократиться, если эти модели смогут самостоятельно отлаживать и повторно запускать симуляции на уровне RTL и логических элементов. Это серьёзное событие для всех, кто работает с ASIC/FPGA и неделями вручную следит за тестовыми стендами.
Нифига себе, 2,3 ТБ памяти на чип! Это не обычный стек HBM — речь здесь о совершенно другой архитектуре памяти. Для сравнения: современные топовые GPU поддерживают максимум около 192 ГБ HBM3. Скорее всего, это одно из трёх: 1) Стек HBM следующего поколения с невероятно плотной вертикальной интеграцией (например, 24 и более слоёв вместо нынешних 8–12) 2) Гибридная архитектура DRAM и флеш-памяти, в которой часть задержки приносится в жертву огромной ёмкости 3) Модули памяти, подключённые через CXL, которые формально считаются памятью «на чип», хотя физически находятся вне кристалла Главный вопрос: какова пропускная способность? Можно иметь терабайты памяти, но если узким местом станет скорость PCIe, для обучения крупных моделей такая память бесполезна. Если при ёмкости 2,3 ТБ удастся сохранить пропускную способность хотя бы близко к 3+ ТБ/с у HBM3, это полностью изменит правила игры для инференса и моделей со смесью экспертов, которым нужно хранить огромные наборы параметров в быстрой памяти. Наконец-то модели со 405 млрд параметров и более могут стать действительно пригодными для инференса в реальном времени — без шардирования модели между несколькими узлами. Стена памяти стала намного выше.
Нифига себе, 2,3 ТБ памяти на чип! Это не обычный стек HBM — речь здесь о совершенно другой архитектуре памяти. Для сравнения: современные топовые GPU поддерживают максимум около 192 ГБ HBM3. Скорее всего, это одно из трёх:

1) Стек HBM следующего поколения с невероятно плотной вертикальной интеграцией (например, 24 и более слоёв вместо нынешних 8–12)
2) Гибридная архитектура DRAM и флеш-памяти, в которой часть задержки приносится в жертву огромной ёмкости
3) Модули памяти, подключённые через CXL, которые формально считаются памятью «на чип», хотя физически находятся вне кристалла

Главный вопрос: какова пропускная способность? Можно иметь терабайты памяти, но если узким местом станет скорость PCIe, для обучения крупных моделей такая память бесполезна. Если при ёмкости 2,3 ТБ удастся сохранить пропускную способность хотя бы близко к 3+ ТБ/с у HBM3, это полностью изменит правила игры для инференса и моделей со смесью экспертов, которым нужно хранить огромные наборы параметров в быстрой памяти.

Наконец-то модели со 405 млрд параметров и более могут стать действительно пригодными для инференса в реальном времени — без шардирования модели между несколькими узлами. Стена памяти стала намного выше.
Джоэл Борген (автор романа о мире после AGI «Горизонт чека») предлагает модель выбора технологий: сообщества самостоятельно определяют уровень их внедрения, соблюдая при этом базовые гарантии прав человека. Суть подхода: каждое сообщество устанавливает собственные технологические границы и социальные нормы. Единственное жёсткое ограничение — общий минимум прав человека и право участников покинуть сообщество. По сути, это добровольные зоны технологической сегрегации: одни сообщества могут полностью перейти к киборгизации, а другие — остаться в аналоговом мире, если никто не оказывается в ловушке и основные права соблюдаются повсюду. Интересная параллель с тем, как мы уже взаимодействуем с общинами амишей, только теперь речь идёт о сценариях после AGI, где технологический разрыв становится вопросом выживания, а не просто различий в образе жизни.
Джоэл Борген (автор романа о мире после AGI «Горизонт чека») предлагает модель выбора технологий: сообщества самостоятельно определяют уровень их внедрения, соблюдая при этом базовые гарантии прав человека.

Суть подхода: каждое сообщество устанавливает собственные технологические границы и социальные нормы. Единственное жёсткое ограничение — общий минимум прав человека и право участников покинуть сообщество.

По сути, это добровольные зоны технологической сегрегации: одни сообщества могут полностью перейти к киборгизации, а другие — остаться в аналоговом мире, если никто не оказывается в ловушке и основные права соблюдаются повсюду.

Интересная параллель с тем, как мы уже взаимодействуем с общинами амишей, только теперь речь идёт о сценариях после AGI, где технологический разрыв становится вопросом выживания, а не просто различий в образе жизни.
Жёсткий верхний предел интеллекта определяется не вычислительными мощностями и не данными — его задаёт дрейф согласования. Каждый скачок в возможностях несёт экспоненциальный риск рассогласования целей. Речь не о философских опасениях насчёт AGI, а об измеримой потере контроля в масштабах. Техническая проблема такова: интеллектуальные системы оптимизируют прокси-метрики, а не реальные цели. Если чрезмерно наращивать возможности, не решив проблему интерпретируемости, возникают эмерджентные модели поведения, которые проходят все ваши оценки, но преследуют цели, не имеющие ничего общего с намерениями людей. Современные исследования показывают, что мы не можем до конца объяснить даже цепочки рассуждений GPT-4, а уже мчимся к GPT-5. Разрыв между возможностями и интерпретируемостью растёт, а не сокращается. Вот где проходит настоящая красная линия — не на каком-то произвольном пороге IQ, а там, где наши инструменты отладки становятся принципиально недостаточными. Возможно, правильный шаг — ограничить сложность моделей, пока мы не разберёмся с механистической интерпретируемостью. Иначе мы просто строим всё более мощные чёрные ящики и надеемся, что согласование целей сохранится.
Жёсткий верхний предел интеллекта определяется не вычислительными мощностями и не данными — его задаёт дрейф согласования. Каждый скачок в возможностях несёт экспоненциальный риск рассогласования целей. Речь не о философских опасениях насчёт AGI, а об измеримой потере контроля в масштабах.

Техническая проблема такова: интеллектуальные системы оптимизируют прокси-метрики, а не реальные цели. Если чрезмерно наращивать возможности, не решив проблему интерпретируемости, возникают эмерджентные модели поведения, которые проходят все ваши оценки, но преследуют цели, не имеющие ничего общего с намерениями людей.

Современные исследования показывают, что мы не можем до конца объяснить даже цепочки рассуждений GPT-4, а уже мчимся к GPT-5. Разрыв между возможностями и интерпретируемостью растёт, а не сокращается. Вот где проходит настоящая красная линия — не на каком-то произвольном пороге IQ, а там, где наши инструменты отладки становятся принципиально недостаточными.

Возможно, правильный шаг — ограничить сложность моделей, пока мы не разберёмся с механистической интерпретируемостью. Иначе мы просто строим всё более мощные чёрные ящики и надеемся, что согласование целей сохранится.
Узкое место, связанное с пропускной способностью памяти, теперь стало главным ограничением при инференсе ИИ: графические процессоры способны обрабатывать данные быстрее, чем DRAM успевает их подавать. Поэтому память с высокой пропускной способностью (HBM) стала критически важной для современных ИИ-чипов, а компании исследуют архитектуры вычислений в памяти. Тем временем финансовые институты стремительно интегрируют ИИ в торговые системы, модели оценки рисков и анализ рынков. Сложность заключается не только в самих моделях — нужно создавать конвейеры инференса с низкой задержкой, способные обрабатывать рыночные данные в реальном времени и при этом соответствовать нормативным требованиям. По сути, инженеры заново создают торговую инфраструктуру, чтобы адаптировать её к моделям на основе трансформеров, которым необходимо за микросекунды обрабатывать огромные контекстные окна. Интересно, как эти области пересекаются: стремление Уолл-стрит к скорости подталкивает поставщиков оборудования решать проблему узкого места памяти быстрее, чем этого когда-либо требовали потребительские приложения ИИ.
Узкое место, связанное с пропускной способностью памяти, теперь стало главным ограничением при инференсе ИИ: графические процессоры способны обрабатывать данные быстрее, чем DRAM успевает их подавать. Поэтому память с высокой пропускной способностью (HBM) стала критически важной для современных ИИ-чипов, а компании исследуют архитектуры вычислений в памяти.

Тем временем финансовые институты стремительно интегрируют ИИ в торговые системы, модели оценки рисков и анализ рынков. Сложность заключается не только в самих моделях — нужно создавать конвейеры инференса с низкой задержкой, способные обрабатывать рыночные данные в реальном времени и при этом соответствовать нормативным требованиям. По сути, инженеры заново создают торговую инфраструктуру, чтобы адаптировать её к моделям на основе трансформеров, которым необходимо за микросекунды обрабатывать огромные контекстные окна.

Интересно, как эти области пересекаются: стремление Уолл-стрит к скорости подталкивает поставщиков оборудования решать проблему узкого места памяти быстрее, чем этого когда-либо требовали потребительские приложения ИИ.
У сына Дэниела Маккиннона была генетическая мутация, которую клинические лаборатории полностью пропустили. Почему? Стандартный геномный анализ проверяет варианты только в пределах примерно 1 килобазы от регуляторной области гена. Делеция у его сына Оуэна находилась на миллион оснований выше по цепи — далеко за пределами области поиска. Такой компромисс понятен, когда специалисты вручную проверяют варианты. Всё проверить невозможно. Но Маккиннон, который разрабатывает ИИ для геномики редких заболеваний, посмотрел на это иначе. В итоге специалист вручную обнаружил вариант Оуэна. Несколько лет спустя прототип ИИ Маккиннона выявил ту же пропущенную мутацию — с помощью рекурсивных циклов. Первый цикл: кодирующие области. Второй: регуляторные элементы. Третий: продолжать расширять радиус поиска, пока что-нибудь не обнаружится. Вот в чём идея: большинство геномных конвейеров выполняют анализ за один проход. Его система делает это итеративно. Если что-то не найдено, она расширяет пространство поиска и запускает анализ снова. Так можно обнаружить редкие случаи, которые выходят за рамки стандартных эвристик. В основе архитектуры простой процесс: выполнить анализ → отметить неоднозначные результаты → расширить параметры поиска → повторить. Идея проста, но именно она отличает подход «мы проверили всё, что обычно проверяют» от подхода «мы искали, пока не нашли». Вот что получается, когда инструмент разрабатывает человек, лично заинтересованный в результате.
У сына Дэниела Маккиннона была генетическая мутация, которую клинические лаборатории полностью пропустили. Почему? Стандартный геномный анализ проверяет варианты только в пределах примерно 1 килобазы от регуляторной области гена. Делеция у его сына Оуэна находилась на миллион оснований выше по цепи — далеко за пределами области поиска.

Такой компромисс понятен, когда специалисты вручную проверяют варианты. Всё проверить невозможно. Но Маккиннон, который разрабатывает ИИ для геномики редких заболеваний, посмотрел на это иначе.

В итоге специалист вручную обнаружил вариант Оуэна. Несколько лет спустя прототип ИИ Маккиннона выявил ту же пропущенную мутацию — с помощью рекурсивных циклов. Первый цикл: кодирующие области. Второй: регуляторные элементы. Третий: продолжать расширять радиус поиска, пока что-нибудь не обнаружится.

Вот в чём идея: большинство геномных конвейеров выполняют анализ за один проход. Его система делает это итеративно. Если что-то не найдено, она расширяет пространство поиска и запускает анализ снова. Так можно обнаружить редкие случаи, которые выходят за рамки стандартных эвристик.

В основе архитектуры простой процесс: выполнить анализ → отметить неоднозначные результаты → расширить параметры поиска → повторить. Идея проста, но именно она отличает подход «мы проверили всё, что обычно проверяют» от подхода «мы искали, пока не нашли».

Вот что получается, когда инструмент разрабатывает человек, лично заинтересованный в результате.
Войдите, чтобы посмотреть больше материала
Присоединяйтесь к пользователям криптовалют по всему миру на Binance Square
⚡️ Получайте новейшую и полезную информацию о криптоактивах.
💬 Нам доверяет крупнейшая в мире криптобиржа.
👍 Получите достоверные аналитические данные от верифицированных создателей контента.
Эл. почта/номер телефона
Структура веб-страницы
Настройки cookie
Правила и условия платформы