На конференции разработчиков Google была анонсирована новая языковая модель LLM – PaLM 2. Она включает обновленную версию Bard chat, который конкурирует с ChatGPT от OpenAI. PaLM 2 является базовой моделью для большинства новых функций искусственного интеллекта, которые были представлены на конференции 10 мая 2023 года. Разработчики могут использовать PaLM 2 через API Google PaLM, Firebase и Colab.
Google, как и OpenAI, не раскрыл много технических деталей обучения следующего поколения модели PaLM 2, включая количество ее параметров (540 миллиардов). Единственная известная информация Google заключается в том, что PaLM 2 разработана на новейшей инфраструктуре Google, использующей JAX и TPU v4.
“В ходе нашей работы мы выяснили, что размер модели не является ее главным критерием – чем больше, тем не всегда лучше”, – заявил вице-президент Deepmind Зубин Гахрамани на пресс-конференции в преддверии сегодняшнего анонса. “Поэтому мы представляем семейство моделей различных размеров. Мы считаем, что подсчет параметров не является полезным способом оценки возможностей моделей. Лучший способ – это оценивать их на практике, проводя тесты и выясняя их полезность для нужд пользователей”.
Компания Google решила сконцентрироваться на своих возможностях и разработала новую модель PaLM 2, которая, в отличие от других языковых моделей, способна рассуждать на основе здравого смысла, математики и логики. В соответствии с заявлением Гахрамани из Deepmind, компания обучила модель на большом количестве текстов по математике, естественным наукам и математическим выражениям. Известно, что другие языковые модели не могут решать математические головоломки без использования сторонних плагинов. Google заявляет, что PaLM 2 легко справляется с указанными задачами, а также способна анализировать проблемы и создавать диаграммы.
В PaLM 2 улучшена поддержка написания и отладки кода. Модель обучена работе на 20 языках программирования, включая JavaScript, Python, Prolog, Verilog и Fortran. PaLM 2 является базой для Codey – модели Google, специализирующейся на кодировании и отладке, которую компания запускает в рамках своей службы генерации и завершения кода.
Google отметила, что PaLM 2 обучался на данных, содержащем более 100 языков. Это позволяет ему эффективно выполнять задачи на разных языках, в том числе с более сложными формулировками, чем у предыдущих моделей.
Google выпустила набор моделей PaLM, включающий модель Codey, медицинскую модель Med-PaLM 2 и безопасную версию Sec-PaLM.Модель PaLM 2 mini, оптимизированная для работы на мобильных устройствах, обеспечивает конфиденциальность использования PaLM. Google не устанавливает временных рамок для этой возможности, но это может измениться в будущем. Согласно отчету Google, данная модель обрабатывает до 20 токенов в секунду. Однако не указывается, на каком устройстве было проведено тестирование.
Google говорит о продуманности при запуске искусственного интеллекта и заявляет о безопасности создаваемых инструментов. Компания также утверждает, что PaLM требует тестирования перед анонсом.
