Рубрики
Технологии

Оптимизируем дообучение LLM: теория + гайд

В эпоху стремительного развития искусственного интеллекта большие языковые модели (Large Language Models, LLM) становятся неотъемлемой частью множества приложений – от интеллектуальных чат-ботов до систем анализа данных.  Эффективное применение больших языковых моделей не обходится без тонкой настройки, потому что базовые модели, обученные на обобщенных данных, могут не учитывать уникальные особенности конкретных задач или доменов. Тонкая настройка […]

Рубрики
Технологии

Пост @iFamily — Машинное обучение — 24.11.2024 13:46

TL;DR: Драма вокруг OpenAI и гонка за AGI (2015–2024) Илон хотел остановить Демиса и DeepMind от создания «диктатуры AGI» Назначил себя гендиректором OpenAI Грег и Илья возразили: «Илон сам может стать диктатором AGI» Сэм пытался взять контроль, Илья обвинил его в жадности и политике Карпати предложил объединить OpenAI с Tesla. Илон поддержал, остальные — нет […]

Рубрики
Технологии

[Перевод] Полное руководство по оценке компонентов системы RAG: что необходимо знать

Системы дополненной генерации (RAG) были разработаны для улучшения качества ответа крупной языковой модели (LLM). Когда пользователь отправляет запрос, система RAG извлекает релевантную информацию из векторной базы данных и передает ее в LLM в качестве контекста. Затем LLM использует этот контекст для генерации ответа для пользователя. Этот процесс значительно улучшает качество ответов LLM с меньшим количеством […]

Рубрики
Технологии

Сказка для программистов в арабском стиле, написанная LLM. «Волшебная лампа Аладдина»

Я давно хотел узнать, может ли LLM написать интересный рассказ так, как это делает писатель.Насколько будет хорош литературный стиль и высока художественная выразительность?Достаточно ли качественно будет создан сюжет и интересны герои повествования?Насколько хорош и уместен юмор?

Рубрики
Технологии

[Перевод] Забыть не значит удалить: SURE — новый устойчивый к квантованию метод «забывания» в LLM

Привет, на связи Елена Кузнецова, специалист по автоматизации Шерпа Роботикс. Сегодня я перевела для вас статью на очень важную тему, в ней затрагивается проблема удаления персональных и других важных данных из LLM моделей. В статье особенно интересно то, как команда учёных нашла лазейку с помощью которой смогла успешно восстанавливать такие «удалённые» данные.

Рубрики
Технологии

Разрабатывали Telegram-бота для доступа к ChatGPT, а в итоге сделали интерфейс для взаимодействия с внешними LLM

В 2024 году не иметь доступа к генеративным ИИ вроде ChatGPT или YandexGPT — моветон. Эту проблему мы решили еще в прошлом году, когда разработали чат-бота для Telegram, который работает без танцев с бубном. А по ходу еще написали API для работы наших внутренних сервисов со сторонними LLM. О том, как шел ход разработки, рассказал […]

Рубрики
Технологии

Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity

Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама находит уязвимости, генерирует отчет, а иногда даже предлагает исправления. Звучит отлично! Но, как показал мой опыт, между «звучит» и «работает» […]

Рубрики
Новости

Bloomberg: Apple готовит масштабное обновление Siri

Обновленный голосовой помощник получил рабочее название LLM Siri

Рубрики
Технологии

Apple крупно прокачает Siri в iOS 19, чтобы она стала полноценным конкурентом ChatGPT и другим чат-ботам

Apple работает над более умной версией Siri, которую внутри компании называют LLM Siri. Купертиновцы добавят в голосового помощника крупные языковые модели, чтобы он смог конкурировать с крупными чат-ботами, вроде ChatGPT. Siri будет вести диалог с пользователями, подобно живому человеку. Кроме того, использование LLM позволит Siri выполнять более сложные задачи, с которыми сейчас в iOS 18.2…

Рубрики
Технологии

Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? […]