Discover Docker, K8s and Hashicorp Nomad with Maksym Prokopov: posts tagged mysql

Fully automated docker mysql database backup from remote low-end NAS

Thu, 17 Aug 2017 10:27:09 +0100

The main idea is to have fully automated docker database backup from low end D-Link NAS DNS-320.

Solution design is following:

My backup box will copy backup.sh script to the remote coreos-03 host.
Then remote host copies backup.sh script into database container.
Backup box executes docker command “docker exec itservice_db_1 backup.sh” on coreos-03 host, which, in turn, executes mysqlbackup. SQL dump is captured directly from command output and then gzipped.
Rsnapshot saves folder with gzipped SQL dump and rotates old backup folders as necessary.

So, we will need only

ssh
tar
rsnapshot

Here is my working implementation:

script backup.sh

#!/bin/bash
## env vars are already in docker container
/usr/bin/mysqldump -u$MYSQL_USER -p$MYSQL_PASSWORD $MYSQL_DATABASE

script backup-coreos-itservice.sh

/ffp/bin/scp /ffp/home/root/backup.sh core@coreos-03:/home/core/itservice/backup.sh
/usr/sbin/ssh -C core@coreos-03 "docker cp /home/core/itservice/backup.sh itservice_db_1:/usr/local/bin/backup.sh"
/usr/sbin/ssh -C core@coreos-03 "docker exec itservice_db_1 /usr/local/bin/backup.sh" > latest.sql
/opt/bin/tar czf itservice-sql-dump.tar.gz latest.sql --remove-files

rsnapshot.conf

...
backup_script/mnt/HD/HD_a2/ffp/home/root/backup-coreos-itservice.shcoreos-03/itservice_db_1
...

crontab

0 */4 * * * rsnapshot hourly
30 3 * * *  rsnapshot daily
0  3 * * 1  rsnapshot weekly
30 2 1 * *  rsnapshot monthly

Keep in mind, that you will need to generate ssh keys for your backup box and add it to authorized_keys on coreos-03 host, but this is out of scope this article.

Docker MySQL container “Field doesn’t have a default value”

Mon, 23 Jan 2017 10:11:48 +0100

issue caused by long lasting MySQL bug http://stackoverflow.com/questions/15438840/mysql-error-1364-field-doesnt-have-a-default-values

Short path add this command to mysql container

command: mysqld --character-set-server=utf8 --collation-server=utf8_general_ci --sql_mode=NO_ENGINE_SUBSTITUTION

That will fix issue.

Simple docker mysql backup/restore

Fri, 13 Jan 2017 09:35:03 +0100

https://gist.github.com/spalladino/6d981f7b33f6e0afe6bb

Backup

docker exec CONTAINER /usr/bin/mysqldump -u root --password=root DATABASE > backup.sql

Restore

cat backup.sql | docker exec -i CONTAINER /usr/bin/mysql -u root --password=root DATABASE

Use MySQL in docker with utf-8 encoding and utf8_general_ci

Tue, 08 Nov 2016 10:51:28 +0100

Use custom command to launch mysql container with right collation:

command: mysqld --character-set-server=utf8 --collation-server=utf8_general_ci

Alter existing database:

ALTER DATABASE databasename CHARACTER SET utf8 COLLATE utf8_unicode_ci;
ALTER TABLE tablename CONVERT TO CHARACTER SET utf8 COLLATE utf8_unicode_ci;

use

docker-compose exec db mysql -uuser -ppass database

to exec your queries in running container.

How to launch MySQL in docker with collation and charset

Fri, 04 Nov 2016 15:06:39 +0100

You can use following line in service description in docker-compose.yml for mysql database

command: mysqld --character-set-server=utf8 --collation-server=utf8_general_ci

More secure mysqldump for docker container

Tue, 18 Oct 2016 10:58:29 +0100

In case you have warning message about insecure user and password usage from command line you can do following:

use mysql_config_editor set ~~login-path=local~~ host=localhost ~~user=db_user~~ password executed in container via exec. That will create encrypted file.
Specify --login-path=local instead of -u user and -p password in your backup script.

I have my backups via rsnapshot. This is something like TimeMachine for Mac with handy directory structure and without duplication.

And my backup script looks like this:

/usr/bin/ssh -i /mnt/HD/HD_a2/ffp/home/root/id_rsa_nexus.key -C core@myipaddress "docker exec itservice_db_1 mysqldump --login-path=local itservice_production" >
 mysqlbackup.sql

That will create mysql dump on your remote backup host without passing user and password in more secure way.

docker-compose exec db mysql_config_editor set --login_path=local --host=localhost --user=itservice --password

will ask password and save credentials in container.

Resources: http://stackoverflow.com/questions/20751352/suppress-warning-messages-using-mysql-from-within-terminal-but-password-written

How to load mysql dump from local host

Tue, 18 Oct 2016 10:27:23 +0100

The main thing is to specify -i key, it allows input redirection from host to container.

docker exec -i container mysql -uuser -ppassword database < dump.sql

Снятие бекапа из mysql контейнера при помощи Ansible

Thu, 21 Jul 2016 12:19:21 +0100

Вот простой рецепт:

- name: backup mysql from container
  gather_facts: no
  vars:
    - db_container: container_db_1
    - image: mysql:5.6
    - db:
        name: database_name
        user: root
        password: root
    - dump_file: ./dump-latest.sql
  tasks:
    - name: run backup container
      shell: "docker run --rm --link {{db_container}}:db --entrypoint \"/usr/bin/mysqldump\" {{image}} -hdb -u{{db.user}} -p{{db.password}} {{db.name}}"
      register: output

    - name: copy output
      local_action: copy content="{{ output.stdout }}" dest="{{dump_file}}"

Работает БЕЗ создания файлов на удаленном хосте, помимо, конечно, временного контейнера.

Еще один быстрый скрипт для бекапа mysql из docker

Thu, 21 Jul 2016 11:59:16 +0100

Мой предыдущий способ “просто запусти и залинкуй контейнер” разбился о проблемы с поддержкой mysql версии 5.7 и выше и то, что docker-compose версии 2 не поддерживает публикацию environment переменных слинкованного контейнера.

Поэтому пришлось разработать свой, крайне простой способ для выгрузки mysql бекапа из mysql контейнера. Поскольку у mysql свой хитры entrypoint, простая замена CMD не работала.

Вот работающий код.

docker run \
    --rm \
    --link container_db_1:db \
    --entrypoint "/usr/bin/mysqldump" mysql:5 -hdb -uroot -proot database > ./backup/mysql-latest.sql

обратите внимание, что > ./backup/mysql-latest.sql завернет вывод из контейнера в файл на хосте, а не внутри.

В качестве образа mysql:5 используйте тот образ, который уже используется в вашем проекте (mysql:5.6, например).

Чуть позднее сделаю рецепт для ansible.

История про баг в бекапе confirm/mysql-backup

Mon, 18 Jul 2016 15:55:01 +0100

Прекрасная идея и достойное воплощение MySQL бекапов прямо из контейнера.

Разбилась об изменение в дефолтном MySQL 5.7 TIMESTAMP
http://dev.mysql.com/doc/refman/5.6/en/timestamp-initialization.html

О чем и отрепортил автору mydumper на github

Простой способ сделать бекап MySQL в Docker контейнере

Thu, 14 Jul 2016 13:38:55 +0100

существует такой специальный контейнер confirm/mysql-backup, который создан, что бы делать бекапы

для этого запустите контейнер с маппингом my_local_backup_dir:/backups и будет создан свежий бекап и положен в вашу my_local_backup_dir.

docker run --name demo_backup --link demo_db -v /var/demo_backup:/backup -d confirm/mysql-backup

Для восстановления добавьте ключ окружения MODE=RESTORE

docker run --name demo_backup --link demo_db -v /var/demo_backup:/backup -d confirm/mysql-backup -e MODE=RESTORE

Подробнее здесь https://blog.confirm.ch/backup-mysql-mariadb-docker-container/

Рецепт для Ansible

- name: backup mysql container
  hosts: coreos
  tasks:
    - name: backup mysql
      docker_container:
        name: mysql-backup
        image: confirm/mysql-backup
        links:
          - mprokopovmichellekievua_db_1
        volumes:
          - /home/core/sql:/backup

после выполнения контейнера будет создан бекап следующего вида:
каталог export-20160714-124628
в котором будут отдельно файлы схемы и данных по таблицам:

metadata michelle_wordpress.wp_postmeta-schema.sql.gz michelle_wordpress.wp_term_taxonomy-schema.sql.gz michelle_wordpress.wp_usermeta.sql.gz
michelle_wordpress.wp_commentmeta-schema.sql.gz michelle_wordpress.wp_postmeta.sql.gz michelle_wordpress.wp_term_taxonomy.sql.gz michelle_wordpress.wp_users-schema.sql.gz
michelle_wordpress.wp_comments-schema.sql.gz michelle_wordpress.wp_posts-schema.sql.gz michelle_wordpress.wp_termmeta-schema.sql.gz michelle_wordpress.wp_users.sql.gz
michelle_wordpress.wp_links-schema.sql.gz michelle_wordpress.wp_posts.sql.gz michelle_wordpress.wp_terms-schema.sql.gz
michelle_wordpress.wp_options-schema.sql.gz michelle_wordpress.wp_term_relationships-schema.sql.gz michelle_wordpress.wp_terms.sql.gz
michelle_wordpress.wp_options.sql.gz michelle_wordpress.wp_term_relationships.sql.gz michelle_wordpress.wp_usermeta-schema.sql.gz

Установка CentOS + MySQL + Varnish + Nginx + PHP-FPM

Thu, 05 Nov 2015 14:18:11 +0100

https://stavrovski.net/blog/install-and-configure-nginx-mysql-php-fpm-in-centos-6#set-up-mysql
http://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/
http://www.sitepoint.com/set-automatic-virtual-hosts-nginx-apache/

Деплой по хуку в гитлабе
https://github.com/mauricerenck/code-samples/blob/master/gitlab-deploy/deploy.php
http://habrahabr.ru/post/246699/
http://habrahabr.ru/post/269163/