Довольно любопытный кошачий подкаст на нейросетевом кошачем радио
Интересный взгляд с обоих сторон.
Подборка фраз о Штирлице, если бы всё происходило в наше время:
З.Ы. Чёт видос в 33 метра тоскливо грузится...
Всем доброго времени суток, с вами на связи Lis-ST, и сегодня мы с вами более подробно ознакомимся с нейросетями, которые чаще всего и называют ИИ, а именно с языковыми моделями. Начнём от простого, к сложному.
Модели не понимают буквы и слова как люди. Их родной язык — числа. Решить эту проблему довольно просто, ведь правда? Просто присваиваем каждой букве и знаку число - проблема решена! Но практика показала обратное, на обработку текста в таком формате требовалось очень много вычислительных мощностей и времени, а при увеличении длины текста требования росли в квадратичной зависимости. Причина банальна, внутри скрытого слоя каждый символ должен "взаимодействовать" с каждым, и это не единственная проблема.
Первый шаг в решении данной проблемы, разбить текст на части - "токены". А раз уж решили прибегнуть к такому способу и так как нейросеть всё-равно работает с числами, почему бы их не сделать из наиболее часто встречающихся частей текста:
С одно стороны, когда у нас были символы, наш словарь состоял из 256 значений, а токенов в той же GPT более 50000... Какая-то оптимизация наоборот, скажете вы и будете не правы. Всё дело в том, что если токеновая модель обрабатывает последовательность из 1000 токенов за условные 10 секунд, то символьной модели для обработки того же текста потребуется уже минимум 160 секунд, неплохая такая разница?
Вкратце затронем эмбеддинги - так называемый вектор. Зачем нам какой-то вектор, ведь токены у нас, числа им присвоены? Но нужно же как-то определять, в каком порядке токены размещены в тексте. Не забываем о контексте за который отвечает механизм внимания (Self-Attention), работающий так-же в скрытом слое, всё также путём присвоения дополнительных значений токенам.
Языковая модель — это очень умный писатель, он никогда не видит весь текст сразу, а пишет по кусочкам (токенам). И каждый раз, когда нужно выбрать следующий кусочек, в его голове происходит невидимое "голосование".
После того как модель прочитала всё, что вы написали, она составляет внутренний рейтинг всех возможных продолжений. У неё в голове есть огромная доска рейтинга на 50 000 мест (по числу токенов). У каждого варианта — своя оценка. Эти оценки — не про "правильность", а про типичность. Модель спрашивает себя: "Что в моей обучающей библиотеке чаще всего шло после такого начала?"
Пример: вы написали "Сегодня хорошая...". В голове модели:
Модель никогда не уверена на 100%, у неё есть только веса предпочтений.
Что происходит с этими весами дальше? Два Варианта:
Модель всегда берёт самый верхний вариант из рейтинга. Увидела "погода" - напечатала "погода". Потом снова смотрит рейтинг для "Сегодня хорошая погода", опять берёт самый верхний... В итоге получается очень предсказуемый, сухой, бездумно-правильный текст. Как говорят: "модель включила режим калькулятора". Плюс: не ошибается, минус: нет творчества, повторяет штампы.
Такой режим используется, когда нужен точный факт, код или перевод. Но общаться с таким собеседником скучно и бесполезно, но главное, абсолютно бесперспективно, если вы сунетесь к нейронке с тем, чему она не обучена (запомните главный принцип, касательно "проблем", если решения вашей проблемы нет в интернете, вероятность того, что поможет нейросеть, стремится к нулю, даже при варианте №2).
Модель смотрит на рейтинг и подбрасывает волшебный кубик, где грани взвешены по весам. Вариант с весом 80% занимает 80% граней кубика, вариант с 15% - 15% граней и т.д.. Так она иногда может выбрать и "погоду", и неожиданно «.», и даже очень редко "крокодила", если кубик так выпадет.
Именно за счёт случайности текст становится живым, разнообразным, иногда остроумным. Но изредка - странным или глупым. Это плата за "человечность" и творчество.
Температура - это ручка управления "креативностью" нейросети.
Модель как бы увеличивает контраст между первым местом и всеми остальными. Первое место становится гигантским, а все остальные - крошечными. Кубик почти всегда падает на топ-1 результат. Текст становится сухим, однообразным, как диктор новостей, читающий по бумажке.
Лучше всего для: фактов, инструкций, кода, перевода.
Это естественное состояние модели, то, чему её обучили. Разница между первым и вторым местом естественная. Кубик отражает реальные статистические веса. Текст получается похожим на обычную человеческую речь - с предсказуемыми, но иногда слегка неожиданными поворотами.
Лучше всего для: обычного чата, деловых писем, новостей.
Модель сглаживает оценки: первое место уже ненамного выше второго, а сотый вариант получает заметный шанс. Кубик становится "расслабленным" - он может выбросить редкое слово, необычную конструкцию, даже неуклюжий, но свежий оборот. Текст получается творческим, иногда странным, иногда гениальным, иногда бредовым.
Лучше всего для: стихов, шуток, креативных идей.
Все варианты становятся почти равноправными. "Погода" и "крокодил" получают почти одинаковые шансы. Кубик выпадает практически случайно. Текст превращается в бессмысленный словесный шум - связные слова, но нелепые сочетания ("Сегодня хорошая крокодил на завтрак"). Полезно разве что для демонстрации того, как модель ломается.
Есть ещё более умные настройки, дополняющие температуру, но статья и так уже не маленькая, а это плохо.
Чтобы задать нейросети нужный "настрой" или стиль, используют два главных инструмента: ручки температуры (о которых мы говорили) и волшебные слова в начале диалога (промпты).
Представьте, что вы нанимаете актёра. Вы не просто говорите "говори", а даёте вводную о роли:
"Ты - научный популяризатор, который объясняет сложные вещи на пальцах. Ты не используешь формулы и термины, если без них можно обойтись. Ты любишь метафоры, примеры из жизни и немного юмора. Твой стиль - как у хорошего учителя или ведущего научно-популярного шоу."
В GPT это называется system prompt (системное сообщение). В других моделях - просто первое сообщение, которое задаёт контекст.
Что ещё можно прописать в настройку:
Это самый мощный способ изменить стиль, потому что модель начинает "вживаться" в роль.
Вот несколько самых интересных примеров того, на что способен системный промпт за пределами привычных сценариев:
Нейронка по умолчанию старается быть вежливой и соглашаться. Но промпт может превратить её в беспристрастного критика, задача которого - найти слабые места в вашем бизнес-плане или проекте, чтобы вы могли его улучшить.
Попросите нейросеть представить себя журналистом, который задаст вам каверзные вопросы. Это поможет вам заранее подготовиться к разговору с реальным экспертом.
В этом промпте каждое слово стихотворения должно строго соответствовать цифрам числа Пи (3,14,15…), где первое слово - из трёх букв, второе - из одной, третье - из четырёх и т.д.
А теперь можно вернуться к вопросу, существует ли ИИ на сегодняшний день? Но чтоб разобраться в данном вопросе, нужно в первую очередь понять, что такое ИИ.
Исходя из словосочетания, ИИ, это интеллект, но искусственный, а интеллект - это качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления средой обитания человека.
Да, это сухое, весьма размытое определение, которое не даёт чёткого представления о том, что-же это такое. Если же посмотреть на то, с помощью чего он реализуется, всё становится на свои места: способности познавать, обучаться, мыслить логически, систематизировать информацию путём её анализа, определять её применимость, находить в ней связи, закономерности и отличия, ассоциировать её с подобной информацией, оценивать её достоверность, актуальность и многое другое...
И опять вернёмся непосредственно к вопросу, являются ли нейросети - искусственным интеллектом? На все 100% нет, и даже близко ничего общего с ним не имеют. По своей сути нейронки - поисковик, работающий на глюках.
У Лисёнка голова бобо. Тут хотел написать в рифму к первому предложению, но видимо ещё не совсем.
Всем спасибо за внимание, с вами был Lis - Silver Tail. Ссылка на первый пост об основах нейросетей ниже.(блин, это же ещё всё вычитывать...(здесь был смайлик))
Всем доброго времени суток, с вами на связи Lis-ST. Это мой первый пост, не на данном сайте, а вообще, (не зря же я состоял в "Лиге лени"), но на общем фоне нейроистерии и всё большего распространения нейросетей кто-то должен хотя бы минимально объяснить, что же такое "Нейросеть", а так-же как правильно с ними работать и чего в принципе от них можно ожидать. В данном посте затронем только самые основы.
Здесь можно было бы надергать текста с вики, различных ресурсов, прогнать всё это через нейронку и вставить тысячи нудных строк на 2 часа чтения, но мне лень, поэтому пробежим вкратце по основным моментам.
Сама идея, создать что-то, что работало бы схожим образом с мозгом, как ни удивительно, появилась задолго до появления компьютеров. Первая математическая модель нейрона была создана ещё в 1943 году.
Первая же нейросеть появилась в 1950 году, примерно в это время начали появляться первые предшественники современных компьютеров. Умела она немного, могла только отличить круг от квадрата, или квадрат от круга, может ещё от треугольника, но ничего сложнее. И на этом всё развитие данной идеи практически остановилось по банальной причине - недостаток вычислительной мощности. Но, это не значит, что от идеи полностью отказались. Её постепенно развивали, предлагались новые модели, способы тренировки но очень существенный толчок в развитии нейронок я связываю с 2015 годом, именно в этот год была основана OpenAI и в 2016 году она положила начало нейроистерии, выпустив в публичный доступ, нет, не нейросеть, а платформу для разработки и обучения нейронок.
Тут определённо стоило бы начать с определения того, что такое нейрон, но чем больше будет определений, формул и подобного, тем хуже для восприятия будет текст, поэтому простыми словами - это то, что может принимать, обрабатывать, хранить и передавать информацию. Нейронная сеть - попытка повторить данные свойства нейрона.
На сегодняшний день придумано множество разных нейронок, разберём самую примитивную, как на картинке выше, она состоит из трёх слоёв: входной, скрытый и выходной.
Входной слой: на него в нейронку поступают какие либо данные - текст, числа, изображения, координаты и т.п.. Здесь данные приводятся к удобному для нейронки виду (обычно это числа от 0 до 1), чтобы слишком большие значения не «свели сеть с ума» или не спалили ваш компьютер. У вас закономерно возникнет вопрос, как можно фото котика представить в виде обычного числа? Всё просто, это не одно число, а тысячи, на каждый пиксель выделяется по входному нейрону, который просто задаёт удерживает числовый значения. Так, для картинки 1024 на 1024 пикселя нам потребуется 1 048 576 входных нейронов.
Скрытый слой, на нем остановимся намного подробней, так как он и ответственен за всю магию нейронных сетей. Это по сути «сито», которое фильтрует данные, чтобы найти в них смысл. Нейрон скрытого слоя берет данные на входе, преобразованные в числовые значения и умножает их на «важность» (вес). Например, при поиске кошки на фото — острые уши и хвост важны, а цвет фона — нет. Затем все результаты складывает в одно число, а полученная сумма сравнивается с порогом, который сформировался при обучении нейронки. Если число достаточно большое, нейрон «просыпается» и передает сигнал дальше. Если нет — молчит.
Выходной слой — это финал, где нейросеть выдает готовый ответ. Он превращает сложные вычисления скрытых слоев в понятный формат. Если в скрытых слоях нейроны «ищут признаки», то в выходном слое они просто «голосуют» за итоговый результат.
В попытках получить наилучший результат, уменьшить требуемые вычислительные мощности для работы нейронок, постоянно придумывались новые варианты их архитектуры, способов тренировки, обработки данных. Так появились на свет нейросети с несколькими скрытыми слоями, каскады нейросетей, свёрточные нейронки и многие другие.
Здесь всё очень сложно, пока на этом не будем заострять внимания, но для общего понимания вот очень краткий список основных архитектур и более подробная картинка для наглядности:
Пока мы коснулись только того, из чего состоит нейросеть, самые основы её работы, но без более подробного разбора мы не придём к пониманию того, почему же у меня от некоторых постов, связанных с нейросетями, весьма не слабо горит кресло. К данному вопросу мы перейдём завтра.
Как-то не так я себе это представлял, капля текста, две картинки, куда два часа исчезли то?
Вопрос: Что объединяет всех этих девушек на фото?
Правильно они не настоящие.
Привет, друзья!
Давайте честно: многие из вас думали о том, как было бы здорово завести видеоблог. Но что-то всегда останавливало. Кто-то стесняется камеры, кто-то не хочет показывать лицо, кто-то считает что это несерьезно, а у кого-то просто нет времени на свет, звук и монтаж.
Раньше это были серьезные препятствия. Но в 2024 году нейросети стерли эти границы. Сегодня я расскажу, как можно стать видеоблогером, используя только компьютер и... цифрового аватара.
Это не просто картинка. Это ваш виртуальный двойник, который выглядит как человек (или как любое другое существо), говорит вашим голосом и ведет себя естественно. Вы остаетесь в тени, а на экране «работает» ваш персонаж.
Но как заставить картинку двигаться и жить? Тут в игру вступают две волшебные технологии. Давайте разберем их без сложных терминов.
Простыми словами: «Оживление фото». Как это работает: Вы берете статичную картинку (портрет вашего аватара) и загружаете в нейросеть. Алгоритм понимает, где глаза, рот, волосы, и генерирует видео, где эти части двигаются. Зачем это вам: Чтобы ваш блогер не выглядел как приклеенная фотография. Он сможет моргать, улыбаться и поворачивать голову.
Простыми словами: «Цифровая кукла». Как это работает: Вы задаете схему движений. Например, загружаете видео, где человек машет рукой, и говорите нейросети: «Сделай так же, но моим аватаром». Или вы вручную расставляете точки на скелете персонажа, управляя его позой. Зачем это вам: Чтобы добавить эмоций. Если вы рассказываете захватывающую историю, аватар может активно жестикулировать. Это делает видео живым и удерживает внимание зрителя.
Вам не нужна студия. Вот простой рецепт:
Технологии — это круто, но контент всё еще правит балом. Зритель подпишется не потому, что видео сделано нейросетью, а потому что ему интересно то, что вы говорите. Цифровой аватар — это лишь оболочка. Наполняйте её смыслом, юмором и пользой.
Эра видеоблогинга стала доступной для каждого. Нейросети взяли на себя сложную техническую работу, освободив вас для самого главного — творчества.
Попробуйте создать своего цифрового двойника уже сегодня. Кто знает, возможно, именно ваш аватар станет следующим миллионником!
А вэтом telegram-канале "Creators" можете посмотреть подробную инструкцию как в наше время можно заработать на виртуальных инфлюенсерах.
Разработчикам отечественного голосового робота для управляющих компаний в сфере ЖКХ пришлось переобучать нейросеть после того, как она начала использовать нецензурную лексику. Об этом сообщил ТАСС на Сибирском строительном форуме президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов.
"Приведу забавный случай, это нейросеть, она учится, и буквально уже в первый месяц разработчики отметили такую коллизию, что нейросеть научилась мату. Но, как это говорится, с кем поведешься, от того и наберешься. Поэтому эту коллизию, конечно, пришлось устранять. Но тем менее это показатели активной работы с нашими гражданами", - сказал он.
Викторов отметил, что внедрение голосовых роботов позволяет существенно сократить штат кол‑центров управляющих компаний — в пять‑шесть раз. По его оценке, вместо 20 сотрудников может работать два‑три специалиста, поскольку робот способен обрабатывать 80–90% обращений.
Согласно приведённой статистике, около 80% пользователей остаются удовлетворены ответами голосового помощника. «Конечно, бывают нетипичные случаи, когда люди разгневаны, аварийные, когда уже надо переходить на живого оператора, который принимает экстренные решения», — добавил он.
Новость пронеслась по СМИ и вроде как не "Панорама"!
От себя предположу, что скорее всего люди матерились, пытаясь вызвать живого человека, когда робот не мог решить их проблему.
Обзор книги "Предпоследняя правда":
Начал играться локально с Ollama. Это, можно сказать, интерфейс для общения с нейронками.
При этом модели нейронок скачиваются и используются локально.
Модель codellama вполне удовлетворяет, но она понимает только английский. С которым уже проблемы у меня.
Искал другие доступные модели, которые умеют в русский язык. Например llama3. Но они такую чушь несут...
ChatGPT, конечно, и русский понимает, и ответы вполне приемлемые. Но он же там, в этих ваших интернетах. Хотелось бы получить интернетонезависимый способ с более-менее адекватными ответами с русского на русский.
Бюджет: 20ГБ видеопамяти.
Прошёл я несколько жёстких тренингов по нейронкам у знаменитых коммерсов и теперь спешу поделиться с вами впечатлениями.
Сначала отвечу на вопрос, не жалко ли было денег.
Очень было жалко, вы даже не представляете себе как!
Тем более, за меня платила компания, и я чувствовал себя немного неудобно.
Как мне удалось договориться с руководством? Я обещал, что полученные знания, а также навыки и умения передам другим сотрудникам компании, в количестве не менее двадцати. Чувствуете экономический эффект? Тратите деньги на одного, а обучаются сразу двадцать.
Сами курсы имели вот такую направленность не только на технические аспекты использования нейронок, но и на коммерческую эффективность.
Насколько хороши были эти курсы? А вот и проверим на моей персоне. Если мои доходы вырастут (за пределами основной работы), значит, курсы были отличными. Если не вырастут, значит, курсы все равно были отличными, но курсант попался туповатый и/или ленивый. Так бывает.
От вас я тоже ничего скрывать не буду, выложу маленькими порциями всё, чему научился как есть.
Сильное впечатление на меня произвёл принцип многоступенчатой "воронки продаж". Я и об этом и раньше знал, даже пытался использовать. Но тут меня поразило, что этот принцип можно эффективно использовать любому человеку, любой специальности. При помощи "нейронок", конечно.
Поясню на примере.
Делаем короткое видео в вертикальном формате (Reels, Shorts.)
Пусть это будет, например:
"Тренинг Шерлока Холмса", отрывок из песни. Длительность: 23 секунды.
Цель данного видео: заинтересовать часть слушателей (хотя бы 2-3 процента) в переходе на следующий уровень.
А этот следующий уровень мы назовём:
"Тренинг Шерлока Холмса", песня (полная версия). Длительность: 3 минуты 06 секунд.
Пусть часть заинтересованных лиц теперь перейдут на новый уровень:
Best of the best people не успокоятся на этом и пойдут ещё дальше, захотят получить произведение полностью в текстовом (35 страниц) или аудио формате (1 час 04 минуты).
Вот так это примерно и работает.
Конечно, много зависит от таланта и мастерства человека (а может и группы людей), которые делают эти ступени. Если сделано хорошо, то КПД каждой ступени будет высоким. Если плохо, то низкий. Всё честно, прозрачно и понятно.
В следующих выпусках я продолжу передавать вам свои знания. Не зря же меня обучали.
...
Первоисточники:
Отрывок из песни "Тренинг Шерлока Холмса"
Мобильная версия Reels, Shorts.
(бесплатно, без регистрации, без СМС)
Песня 028. Песня "Тренинг Шерлока Холмса"
История 00096. "Шерлок Холмс, год 2025", саморецензия.
"Шерлок Холмс, год 2025" текст(35 страниц) и аудио (1 час 04 мин).
===
Увидел у Бочарика.
Картинка симпатишная, ситуация страшная!
Промт для шедеврума: И снова седая ночь и только ей доверяю я.
Собстно, Шедеврум явил шедевры. Как смог, чё))) В музыкантов не стрелять- играют, как умеют)))
Сейчас идет волна постов про превращение косплеера в образе в 3д фигурку через нейросеть. И у меня родилась в голове идея, используя такую фотографию, превратить ее в настоящую фигурку.
Это был некоторый вызов, ибо скульптирую я крайне плохо.
Сразу скажу что с 1 генерации ничего толкого не получишь, только несколько генераций, из которых только удачные части пошли в проект.
Моделинг делал в Блендере. Заняло 3 дня. Возможно кто-то скажет, что работы тут на день, но для меня это огромный шаг вперед.
В итоге получилась модель в формате STL для фигурки в 20 см. Разделенная на 9 частей и с пазами в сочленениях для удобства сборки.
И с простыми матариалами (Рендер тоже не мой конек)
