Москва
+7 (495) 663-16-12

MySQL 5.7 — нововведения

Обзор изменений и улучшений в БД

Мы изучили презентации, заявления и выступления ведущих специалистов компании Oracle, участвовавших в разработке и тестировании продукта, и решили поделиться с вами полученными результатами. В версии MySQL 5.7 проделана значительная работа по улучшению производительности и масштабируемости системы для высоконагруженных проектов. Управление системой стало проще и безопаснее. Добавлены новые возможности, благодаря которым вы сможете работать с базами данных на совершенно ином уровне!

Основные улучшения:

  • В 2 раза быстрее MySQL 5.6
  • Улучшенный InnoDB
  • Улучшена репликация
  • Новая модель стоимостного оптимизатора. Улучшена производительность запросов.
  • Улучшение схемы производительности
  • MySQL SYS Schema
  • Повышенный уровень безопасности
  • Поддержка JSON

 

Показатели производительности MySQL 5.7 vs MySQL 5.6

Выжимка из презентации продуктового менеджера Oracle Мэтта Лорда, посвященной выходу версии MySQL 5.7 и презентации разработчика MySQL Алексей Копытова на DevConf. На рисунке ниже команда Oracle провела тест производительности систем 5.5, 5.6 и 5.7 с помощью утилиты sysbench на read-only нагрузках. В  результате теста MySQL версии 5.7 показал в несколько раз большую производительность, чем его предшественники. 

 

Также была выполнена оптимизация скорости соединения. В версии 5.7 скорость создания соединения в сравнении с версией 5.6 стала значительно быстрее, в особенности, при большом количестве клиентов.

 

Одним из основных направлений по улучшению в версии 5.7 была оптимизация в работе движка InnoDB. На графике ниже вы можете наблюдать результат сделанных улучшений на примере связки InnoDB и Memcached плагина.

 

 

В несколько раз выросло и количество соединений в секунду, которое способен обрабатывать MySQL. 

 

 

Новые возможности в MySQL 5.7

Ниже приведена выжимка основных улучшений от представителей Oracle, из официального письма Geir Høydalsvik - старшего директора по разработке MySQL и выступления разработчика MySQL Дмитрия Ленева на DevConf 2016

Добавление поддержки JSON в MySQL

Благодаря недавно добавленной поддержке JSON в MySQL теперь вы можете сочетать гибкость NoSQL с мощью реляционной базы данных.

Оптимизированный бинарный формат позволяет серверу эффективно хранить, извлекать и искать данные JSON. Это расширяет возможности CREATE TABLE и ALTER TABLE, чтобы они могли создавать столбцы JSON, и расширяет функцию Field, разрешая INSERT и SELECT из полей с типом JSON.

 

Преимущества столбцов JSON

  • Улучшенный бинарный формат хранения (быстрый доступ по ключам и к элементам массивов)
  • Оптимизирован для чтения
  • Кодировка Utf8mb4
  • Валидация JSON при вставке
  • Поддержка JSON элементов, таких как числа, строки, объекты, массивы.

 

Набор встроенных функций для взаимодействий с JSON

Позволяет пользователям создавать значения данных JSON из других реляционных данных, извлекать реляционные данные из значений данных JSON, анализировать структуру значений и текста JSON (валидность, длина, глубина, ключи), выполнять поиск внутри данных JSON и управлять ими.

  • JSON_EXTRACT()/оператор ->, JSON_SEARCH(), JSON_CONTAINS(),....
  • JSON_SET(), JSON_INSERT(), JSON_REMOVE(),....
  • JSON_VALID(), JSON_LENGHT(), JSON_DEPTH(),...
  • JSON_ARRAY(), JSON_OBJECT()
  • JSON_QUOTE(), JSON_UNQUOTE()

 

Доступен компаратор для сравнения в SQL запросах, аналогичный компаратору DATE / TIME / DATETIME, который позволяет сравнивать скаляры JSON с константами SQL и скаляры JSON с скалярами JSON. Компаратор полагается на поддержку DOM. Компаратор преобразует константу SQL в скаляр JSON, а затем сравнивает значения.

 

Упорядочивание скалярных значений JSON

Функция создает ключи сортировки, которые необходимы внутренней функции файловой сортировки для правильной сортировки значений JSON. При упорядочивании скалярных значений JSON с помощью ORDER BY они будут возвращены в порядке, определенном компаратором JSON.

 

Анализатор выражений для сгенерированных столбцов.

Позволяет оптимизаторам находить возможности для использования любых индексов, определенных для сгенерированных столбцов. Один из предполагаемых вариантов использования этой функции - создание и автоматическое использование индексов для документов JSON.

 

Генерируемые столбцы

В операторах CREATE TABLE и ALTER TABLE доступна поддержка спецификации генерируемых столбцов. Из выражения, указанного при создании столбца вычисляются значения сгенерированного столбца.

Cтолбцы могут быть VIRTUAL (вычисление при чтении строк) или STORED (вычисление при вставке или обновлении строк), при этом индексы вы можете создать для обоих типов. Анализируя выражения, оптимизатор, кстати,  старается использовать наилучший «функциональный» индекс.

 

Генерируемые столбцы: STORED vs VIRTUAL

STORED
→ Может быть PRIMARY KEY
 BTREE, FULLTEXT, GIS
 Добавление колонки требует перестроения таблицы и блокирует обновления
 Добавление индекса in-place/не блокирует обновления

VIRTUAL
 Не может быть PRIMARY KEY
 Только BTREE
 Добавление колонки мгновенно
 Добавление индекса in-place/не блокирует обновления

 

Улучшения при выполнении запросов и в оптимизаторе.

Функция оценки затрат расширяет модель стоимостного оптимизатора, позволяет использовать оценки механизмов хранения: сколько строк и индексов таблицы присутствует в памяти. Оптимизатор использует различные константы затрат для расчета стоимости доступа к данным, которые находятся в памяти, и данным, которые необходимо прочитать с диска. В первоначальной реализации эти две константы стоимости имеют одинаковое значение по умолчанию, но могут быть изменены администратором сервера, чтобы оптимизатор использовал разные затраты на данные в буфере памяти и данные, необходимые для чтения с диска. Обратите внимание, что в настоящее время оценки того, находятся ли данные в памяти или их необходимо прочитать с диска, основываются только на эвристике. Точность этих оценок будет значительно улучшена, если поддержка этих оценок будет реализована отдельными механизмами хранения.

 

Другие оптимизации:

  • Более умный учет условий при выборе порядка таблиц в join;
  • Подзапросы из FROM обрабатываются как view;
  • UNION ALL не требует временных таблиц;
  • Полностью cost-based выбор индекса для ORDER BY ... LIMIT N;
  • Более оптимальное использование sort-buffer для несортируемых полей.

 

X plugin

Добавляет возможность оптимизации базы данных за счёт обновлённого протокола связи с веб-сервером, который способен производить асинхронные запросы. Также доступна новая утилита для более эффективной работы с веб-сервером и новый NoSQL API, который делает акцент на JSON, CRUD, а также document store.

EXPLAIN FOR CONNECTION
• Улучшения в EXPLAIN JSON (общая стоимость, по таблицам, кол-во обработанных данных)
• Улучшен режим ONLY_FULL_GROUP_BY и включен по умолчанию
• IN поддерживает кортежи [выражения вида («a», «b»)]

Новый механизм подсказок оптимизатору /*+ … */:
– MAX_EXECUTION_TIME, BKA, MRR, ICP,
NO_RANGE_OPTIMIZATION,SEMIJOIN, SUBQUERY
Query Rewrite Plugin

Работает после обработки парсером перед оптимизацией и выполнением и позволяет изменить проблемный запрос без изменения приложения:

– Добавить подсказок оптимизатору
– Поменять порядок в join
– Решает проблему «плохих» запросов от ORM, сторонних приложений
– Больше не нужно использовать proxy в этих случаях

 

Улучшения в InnoDB

Производительность/масштабируемость

  • Поддержка native partitioning
  • Быстрее, меньше ресурсов
  • Поддержка trasportable tablespaces
  • General tablespaces

Улучшения Fulltext

Поддержка parser plugin
CJK и MeCab парсеры
Поддержка GIS индексов

Быстрый ALTER TABLE для VARCHAR
Оптимизация создания индексов (create index bulk load)
Изменение размера buffer pool без рестарта
Сохранение горячих страниц из buffer pool для прогрева (--innodb-buffer- pool-dump-pct=)
Поддержка 32k и 64k страниц

Управление MERGE_THRESHOLD
Оптимизация работы с временными табличками (пользовательскими и intrisic)
Transparent Page Compression (punch-hole)

Репликация

GTID

– Включение GTID без downtime и перезапусков
– Slave без binlog

Поддержка репликации из многих источников

Изменение настроек фильтрации без перезапуска

Улучшения в полу-синхронной репликации

– Ожидание подтверждения от нескольких slave
– Фиксация транзакции только после подтверждения (корректный failover, решение проблемы с видимостью изменений)
– Отдельные потоки для отсылки и получения подтверждений

Безопасность

Безопасность по умолчанию
– Автогенерация пароля root@localhost при инсталляции
– Нет анонимов
– Простое и безопасное создание БД через mysqld —initialize

SSL

– Включен по умолчанию
– --ssl на клиенте его требует
– Автоматическое обнаружение и генерация ключей
– --require-secure-trasport на сервере

Поддержка политик смены паролей

Временная блокировка и разблокировка пользователей
Режимы AES шифрования

Расширена поддержка PROXY пользователей

– Теперь и при аутентификации через встроенные механизмы сервера
– Можно использовать для эмуляции ролей

Максимальная длина имени пользователя теперь 32

CREATE/DROP USER IF EXIST

PERFORMANCE_SCHEMA и SYS

Добавлена инструментация для:

– Блокировок метаданных (MDL)
– Транзакций
– Хранимых процедур и prepared statements
– Использования памяти

Аггрегированная статистика по:

– типам памяти/пользователям/хостам/соединениям
Включает данные:
– объем, количество выделений, high/low watermarks

Добавлены P_S таблицы для:

– Состояния slave (аналог SHOW SLAVE STATUS)
– Пользовательских переменные
– Статусных и системных переменных

Оптимизировано использование памяти

Многочисленные настройки (фильтрация по пользователям, включение/выключение истории для соединений)
SYS schema (ps_helper) теперь доступен по умолчанию

GIS

– Выкинули старый код и перешли на Boost.Geometry !
– Для вычислений и операций
– Меньше ошибок, больше функциональности

Импорт/экспорт из/в

– GeoHash
– GeoJSON

Новые вспомогательные функции ST_Distance_Sphere(), ST_MakeEnvelope(),...

Реализовали поддержку R-tree в InnoDB
– Транзакции/ACID/MVCC при работе с GIS

MySQL Document Store

Использует новый JSON тип и индексы на генерируемые столбцы
Оперирует коллекциями JSON объектов

Новый MySQL Shell
— JavaScript, Python, SQL

Коннекторы с новым CRUD API:
– Java, NodeJS, Net, Python
– Поддерживают работу с коллекциями и таблицами
– Цепочки методов (method chaining)
– Асинхронное выполнение
– Поддерживает parameter binding

 

С полным списком улучшений вы можете ознакомиться по ссылкам на официальный сайт:

 

Кстати говоря, нашим клиентам уже доступен хостинг с MySQL 5.7! Вы можете абсолютно бесплатно протестировать работу вашего сайта на новой базе MySQL 5.7 в течение 14 дней с момента регистрации.