Архив категории: linux

Пробуем Teamcity с Docker

15.12.2017 – 22:00

Teamcity — это, пожалуй, один и самых любимых мною продуктов JetBrains. Он и удобный, и гибкий, и вообще приятный в работе.

Бывает так, что я хочу попробовать свежую версию и не хочу париться с его настройкой и установкой. Теперь, сделать это проще простого: берём образы Docker и в путь!

Официальные образы лежат тут:

Казалось бы, запускать их уже и так просто, куда ещё упрощать?

Как бы не так! Можно проще при помощи docker-compose.

1. Устанавливаем docker-compose из пакетов:

> sudo apt-get install docker-compose

1	> sudo apt-get install docker-compose

2. Создаём каталог ~/test/teamcity

3. Пишем файл docker-compose.yml

version: '2'
services:
  teamcity-server-instance:
    image: jetbrains/teamcity-server
    ports:
     - "8111:8111"
    restart: always
    volumes:
      - ~/test/teamcity/data:/data/teamcity_server/datadir
      - ~/test/teamcity/logs:/opt/teamcity/logs
    networks:
      - teamcity-network

  teamcity-agent-instance:
    image: jetbrains/teamcity-agent
    restart: always
    volumes:
      - ~/test/teamcity/agent-conf:/data/teamcity_agent/conf
    environment:
      - SERVER_URL=teamcity-server-instance:8111
    networks:
      - teamcity-network

networks:
  teamcity-network:

version: '2'

services:

teamcity-server-instance:

image: jetbrains/teamcity-server

ports:

- "8111:8111"

restart: always

volumes:

- ~/test/teamcity/data:/data/teamcity_server/datadir

- ~/test/teamcity/logs:/opt/teamcity/logs

networks:

- teamcity-network

teamcity-agent-instance:

image: jetbrains/teamcity-agent

restart: always

volumes:

- ~/test/teamcity/agent-conf:/data/teamcity_agent/conf

environment:

- SERVER_URL=teamcity-server-instance:8111

networks:

- teamcity-network

networks:

teamcity-network:

4. Запускаем это всё

> docker-compose up

1	> docker-compose up

Радостные идём на http://localhost:8111/ тыкать мышкой для дальнейшей установки.

Если вдруг захотите запускать Teamcity в Docker на продакшен серверах, то рекомендую посмотреть тут готовые конфиги с Nginx и PostgreSQL: https://github.com/Egregors/teamcity-docker-compose

Yuriy Artamonov | Постоянная ссылка | Нет комментариев

git linux

Компактное хранение исходного кода

23.03.2016 – 23:28

При реализации проекта DistTest возникла необходимость собирать ядро linux из разных версий исходников. И первым решением было загружать готовые архивы исходников с kernel.org для каждой отдельной версии. Но вскоре стало понятно, что данный подход требует значительного дискового пространства: 0.5-1ГБ на каждую версию, которых в данный момент порядка 1000. А также данные подход позволяет собирать только именованные версии, но не версии соответствующие отдельным коммитам.

Для решения проблемы дискового пространства можно хранить несколько базовых версий и приводить их к необходимому виду с помощью патчей, но это приводит к значительному объёму I/O со случайным доступом, что выполняется медленно на HDD и приводит к износу SSD. Тот факт, что исходники необходимой версии требуются лишь временно, подсказывает использовать tmpfs. Но есть более эффективный подход в плане использования оперативной памяти — хранить в tmpfs только отличающиеся от уже имеющихся файлов, что позволяет сделать aufs.

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

linux virtualization

Запуск дистрибутива linux как приложения

03.11.2014 – 11:36

Запуск виртуальной машины с последовательным портом в качесте консоли и перенаправлением его в stdio процесса qemu:

qemu-system-i386 -M pc-1.0 -m 64 -kernel $kernel_path -initrd $initrd_path -append 'console=tty0 console=ttyS0,115200n8' -chardev stdio,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -nographic -nodefconfig -nodefaults

1	qemu-system-i386 -M pc-1.0 -m 64 -kernel $kernel_path -initrd $initrd_path -append 'console=tty0 console=ttyS0,115200n8' -chardev stdio,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -nographic -nodefconfig -nodefaults

Для примера работы эмулятора будем использовать дистрибутив tinycore linux:

Пересборка initrd образа:

gunzip core.gz
mkdir initrd
cd initrd
cpio -iv < ../core
perl -pi -e 's/tty1/ttyS0/g' etc/inittab
perl -pi -e 's/# ttyS0/ttyS0/g' etc/securetty
find * -print0 | cpio -ov0 -H newc >../core
cd ..
gzip core

gunzip core.gz

mkdir initrd

cd initrd

cpio -iv < ../core

perl -pi -e 's/tty1/ttyS0/g' etc/inittab

perl -pi -e 's/# ttyS0/ttyS0/g' etc/securetty

find * -print0 | cpio -ov0 -H newc >../core

cd ..

gzip core

Пример вывода(перенаправление консоли ядра отключено для наглядности):

$ echo '  sudo poweroff' | qemu-system-i386 -M pc-1.0 -m 64 -kernel /media/data/qemu/vmlinuz -initrd /media/data/qemu/core.gz -chardev stdio,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -nographic -nodefconfig -nodefaults | sed 's~\[J~~' | sed 's~\[H~~'

 (�- 
 //\   Core is distributed with ABSOLUTELY NO WARRANTY.
 v_/_           www.tinycorelinux.com

tc@box:~$ sudo poweroff
tc@box:~$ 
$

$ echo ' sudo poweroff' | qemu-system-i386 -M pc-1.0 -m 64 -kernel /media/data/qemu/vmlinuz -initrd /media/data/qemu/core.gz -chardev stdio,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -nographic -nodefconfig -nodefaults | sed 's~\[J~~' | sed 's~\[H~~'

(�-

//\ Core is distributed with ABSOLUTELY NO WARRANTY.

v_/_ www.tinycorelinux.com

tc@box:~$ sudo poweroff

tc@box:~$

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

bash linux NAT network pipes security

Заблуждения о файлах

26.10.2013 – 00:25

Если удалить файл, свободное место увеличится на размер файла.

Ну, во-первых, файл очень часто занимает отличное от своего размера место

Если удалить файл, свободное место увеличится.

В большинстве файловых систем Linux место не освободится пока файл не закроют все процессы, работающие с ним.

Если удалить файл, свободное место увеличится, когда файл все закроют.

Вот в hfsplus в Linux 2.6.32-2.6.36 не так. В 2.6.37 это таки пофиксили.

Ну оно хотя бы не уменьшится при удалении?!

Много чудных файловых систем можно встретить. Вот например nilfs

$ df
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/loop0        253948    16380    172032   9% /tmp/nilfs
$ dd if=/dev/zero of=/tmp/nilfs/123 bs=1K count=10000
$ dd if=/dev/zero of=/tmp/nilfs/123 bs=1K count=10000
$ dd if=/dev/zero of=/tmp/nilfs/123 bs=1K count=10000
$ df
/dev/loop0        253948    32764    155648  18% /tmp/nilfs
$ rm /tmp/nilfs/123
$ df
/dev/loop0        253948    40956    147456  22% /tmp/nilfs

$ df

Filesystem 1K-blocks Used Available Use% Mounted on

/dev/loop0 253948 16380 172032 9% /tmp/nilfs

$ dd if=/dev/zero of=/tmp/nilfs/123 bs=1K count=10000

$ df

/dev/loop0 253948 32764 155648 18% /tmp/nilfs

$ rm /tmp/nilfs/123

$ df

/dev/loop0 253948 40956 147456 22% /tmp/nilfs

Если дописать информацию в файл, занятое им место на диске увеличится.

Файловые системы со сжатием могут сжать новый файл лучше.

Одному имени файла всегда соответствует один и тот же файл.

Файлы кто-то может переименовать (c)ваш К.О. Даже в самый неожиданный момент (c)всё тот же К.О. Читать далее »

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

linux security

Добавление пользователя в группу в дистрибутивах linux

21.04.2013 – 17:28

Допустим вам нужно предоставить доступ себе к какому-нибудь файлу/папке как члену группы владельца файла, так как самого владельца, в данном случае, изменить нет возможности. Например разрешить просмотр общих папок в VirtualBox в гостевой ОС на базе линукс. Казалось бы, что может быть проще?

usermod -a -G vboxsf <username>

1	usermod -a -G vboxsf <username>

Но это изменение не повлияет на уже открытые сессии(если честно, я не понимаю что именно понимать под сессией). Хотя для обхода этого есть хак.

# How to add user into group, and make changes take effect *without logout/login*: the *newgrp* command
#
# Do note that this method will only update the groups, in the current shell session (and its child-processes).
# New shell sessions will not have the groups updated - either use this method to update the groups in each shell
# session, or logout/login to make the group update permanent by default
#
# In short:
# $ sudo adduser user_x my_grp
# $ newgrp my_grp && newgrp
#
# Here is the rundown annotated:

#Add user_x into group sambashare
user_x@stest:~$ sudo adduser user_x sambashare
user_x@stest:~$ id
uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout)
#changes did not take effect

user_x@stest:~$ newgrp
user_x@stest:~$ id
uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout)
#changes still did not take effect

user_x@stest:~$ newgrp sambashare
user_x@stest:~$ id
uid=1001(user_x) gid=115(sambashare) groups=1002(user_x),20(dialout),115(sambashare)
#changes *did* take effect now:
# - changed 'gid=115(sambashare)'
# - appended '115(sambashare)'

user_x@stest:~$ newgrp
user_x@stest:~$ id
uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout),115(sambashare)
#reestablished 'gid=1002(user_x)'
# all done now

# How to add user into group, and make changes take effect *without logout/login*: the *newgrp* command

# Do note that this method will only update the groups, in the current shell session (and its child-processes).

# New shell sessions will not have the groups updated - either use this method to update the groups in each shell

# session, or logout/login to make the group update permanent by default

# In short:

# $ sudo adduser user_x my_grp

# $ newgrp my_grp && newgrp

# Here is the rundown annotated:

#Add user_x into group sambashare

user_x@stest:~$ sudo adduser user_x sambashare

user_x@stest:~$ id

uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout)

#changes did not take effect

user_x@stest:~$ newgrp

user_x@stest:~$ id

uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout)

#changes still did not take effect

user_x@stest:~$ newgrp sambashare

user_x@stest:~$ id

uid=1001(user_x) gid=115(sambashare) groups=1002(user_x),20(dialout),115(sambashare)

#changes *did* take effect now:

# - changed 'gid=115(sambashare)'

# - appended '115(sambashare)'

user_x@stest:~$ newgrp

user_x@stest:~$ id

uid=1001(user_x) gid=1002(user_x) groups=1002(user_x),20(dialout),115(sambashare)

#reestablished 'gid=1002(user_x)'

# all done now

P.S. и да, я не понимаю, из-за чего (софт/ядро/принципы *nix) так, но по крайней мере в Ubuntu 10.04/12.04 поведение такое.

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

build linux performance programming

Операционные системы и фарс с производительностью

16.02.2013 – 19:24

Закончился простой тест производительности двух ОС: Windows 7 и Linux (Xubuntu 12.10)

Эксперимент:

Выбирается проект на Java, с большим числом модулей, проектных файлов, зависимостей и этапов сборки
Собирается начисто без замеров времени
Собирается повторно, время замеряется, этот этап повторяется несколько раз, вычисляется среднее время

Использовались: система сборки Gradle (режим --daemon), JDK 1.7_13 (x64).
Файловые системы: Windows — NTFS, Linux — ext4.
Все ОС в тесте 64-битные, файлы проекта и файлы системы (а также приложений) расположены на разных физических дисках.
Для виртуальной машины использовался Oracle Virtual Box (4.1), в качестве хоста Windows 7, без дополнительного дискового кэша на стороне VM.

Итого:

Операционная система	Время сборки, сек (PC 1)	Время сборки, сек (PC 2)	Время сборки, сек (PC 3)
Windows 7	20.5	22.0	21.2
VM Xubuntu 12.10	—	14.6	—
Xubuntu 12.10	9.4	9.6	—

Приведённые результаты для машины, на которой пробовались все варианты ОС, получены без специальных настроек производительности.

Результаты плачевны. И можно сколь угодно спорить о настройках, тюнинге, особенностях. Интегральная производительность вот такая.
Ну а я уже перешёл на правильную ОС.

Yuriy Artamonov | Постоянная ссылка | Нет комментариев

bash build programming

Кросс-компиляция cygwin → mingw

05.11.2012 – 01:36

Некоторое время назад я начал свой кроссплатформенный проект. Поскольку сижу я в основном за Windows, то для компиляции обычно использую cygwin, а для сборки билдов для тестеров под cygwin живет i686-w64-mingw. Все было хорошо, но вот пришла пора, и для вывода пары фраз текста я решил подключить к проекту libfreetype. При компиляции на cygwin проблем нет — ведь в репозитории есть соответствующий пакет, ну а для mingw, естественно, придется собирать либу самому.

Дабы ко мне не было вопросов, я решил подключать либу динамично, а все ее зависимости (чтобы не тащить кучу левых файлов) линковать статично. О моем горьком опыте я здесь и расскажу.
Читать далее »

VP | Постоянная ссылка | Нет комментариев

bash linux one-liner

Калькулятор, который всегда под рукой

06.09.2012 – 19:45

— Так у тебя уже трое детей? И сколько им лет?
— Если перемножить их возраст, то получится 36. А если сложить, то получим номер автобуса, на котором мы с тобой едем.
— Но я не могу на основании этого определить их возраст!
— А, забыл сказать — старший такой же рыжий как и я!
— Ну тогда ясно!

А Вам ясно? Сразу? Серьёзно? Хорошо Вам! Тем, кто так быстро не считает, может помочь калькулятор, который всегда под рукой(у линуксоидов):

for x in {1,2,3,4,6,9,18,36}; do for y in {1,2,3,4,6,9,18,36}; do for z in {1,2,3,4,6,9,18,36}; do [ $(($x*$y*$z)) -eq 36 ] && ( echo -n $(($x+$y+$z)) $(($x*$y*$z)); for i in $(echo -e "$x\n$y\n$z"|sort); do echo -n " $i"; done; echo ""); done; done; done | sort | uniq

1	for x in {1,2,3,4,6,9,18,36}; do for y in {1,2,3,4,6,9,18,36}; do for z in {1,2,3,4,6,9,18,36}; do [ $(($x$y$z)) -eq 36 ] && ( echo -n $(($x+$y+$z)) $(($x$y$z)); for i in $(echo -e "$x\n$y\n$z"\|sort); do echo -n " $i"; done; echo ""); done; done; done \| sort \| uniq

10 36 3 3 4
11 36 2 3 6
13 36 1 6 6
13 36 2 2 9
14 36 1 4 9
21 36 1 18 2
38 36 1 1 36

10 36 3 3 4

11 36 2 3 6

13 36 1 6 6

13 36 2 2 9

14 36 1 4 9

21 36 1 18 2

38 36 1 1 36

Под катом код не однострочником Читать далее »

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

bash linux

Настраиваем apcupsd

27.08.2012 – 01:58

На всякий случай были написаны скрипты для автоматического старта и корректного завершения работы виртуальных машин(в случае потери питания, выполняется демоном apcupsd)
Из интересных(по крайней мере для меня) моментов я бы хотел отметить способ запуска команды от имени определённого пользователя, даже если скрипт запущен от root’а. Это необходимо потому, что VirtualBox привязывает виртуалки к пользователю, и если запустить от root’а vboxmanage list runningvms при запущенных виртуалках, он ничего о них не скажет. По этому был на коленке быстренько написан следующий код:
startvm.sh

#!/bin/bash
killall vboxwebsrv || true	#to avoid multiple running vboxwebsrv
if [ "$(whoami)" == 'root' ]; then
	su firefish -c 'vboxwebsrv >/dev/null 2>/dev/null &'	#
	su firefish -c 'vboxheadless --comment a2b  --startvm 71be8945-2936-4289-a18f-c411aa92e7c4 --vrde config >/dev/null 2>/dev/null &'
	su firefish -c 'vboxheadless --comment docs --startvm 304e28c7-3252-4f25-aa31-58b9e4a93936 --vrde config >/dev/null 2>/dev/null &'
	su firefish -c 'vboxheadless --comment vcs  --startvm 1d042c70-4998-4fc8-964c-843e2cd3abbf --vrde config >/dev/null 2>/dev/null &'
else
	vboxwebsrv >/dev/null 2>/dev/null &     #
	vboxheadless --comment a2b  --startvm 71be8945-2936-4289-a18f-c411aa92e7c4 --vrde config >/dev/null 2>/dev/null &
	vboxheadless --comment docs --startvm 304e28c7-3252-4f25-aa31-58b9e4a93936 --vrde config >/dev/null 2>/dev/null &
	vboxheadless --comment vcs  --startvm 1d042c70-4998-4fc8-964c-843e2cd3abbf --vrde config >/dev/null 2>/dev/null &
fi

#!/bin/bash

killall vboxwebsrv || true #to avoid multiple running vboxwebsrv

if [ "$(whoami)" == 'root' ]; then

su firefish -c 'vboxwebsrv >/dev/null 2>/dev/null &' #

su firefish -c 'vboxheadless --comment a2b --startvm 71be8945-2936-4289-a18f-c411aa92e7c4 --vrde config >/dev/null 2>/dev/null &'

su firefish -c 'vboxheadless --comment docs --startvm 304e28c7-3252-4f25-aa31-58b9e4a93936 --vrde config >/dev/null 2>/dev/null &'

su firefish -c 'vboxheadless --comment vcs --startvm 1d042c70-4998-4fc8-964c-843e2cd3abbf --vrde config >/dev/null 2>/dev/null &'

else

vboxwebsrv >/dev/null 2>/dev/null & #

vboxheadless --comment a2b --startvm 71be8945-2936-4289-a18f-c411aa92e7c4 --vrde config >/dev/null 2>/dev/null &

vboxheadless --comment docs --startvm 304e28c7-3252-4f25-aa31-58b9e4a93936 --vrde config >/dev/null 2>/dev/null &

vboxheadless --comment vcs --startvm 1d042c70-4998-4fc8-964c-843e2cd3abbf --vrde config >/dev/null 2>/dev/null &

stopvm.sh

#!/bin/bash
echo "shutting down started" | wall
if [ "$(whoami)" == 'root' ]; then
	su firefish -c 'vboxmanage controlvm 71be8945-2936-4289-a18f-c411aa92e7c4 acpipowerbutton'
	su firefish -c 'vboxmanage controlvm 304e28c7-3252-4f25-aa31-58b9e4a93936 acpipowerbutton'
	su firefish -c 'vboxmanage controlvm 1d042c70-4998-4fc8-964c-843e2cd3abbf acpipowerbutton'
	while [ "$(su firefish -c 'vboxmanage list runningvms')" != '' ]; do
        	sleep 1;
	done
else
	vboxmanage controlvm 71be8945-2936-4289-a18f-c411aa92e7c4 acpipowerbutton
	vboxmanage controlvm 304e28c7-3252-4f25-aa31-58b9e4a93936 acpipowerbutton
	vboxmanage controlvm 1d042c70-4998-4fc8-964c-843e2cd3abbf acpipowerbutton
	while [ "$(vboxmanage list runningvms)" != '' ]; do
        	sleep 1;
	done
fi

echo "shutting down completed" | wall

#!/bin/bash

echo "shutting down started" | wall

if [ "$(whoami)" == 'root' ]; then

su firefish -c 'vboxmanage controlvm 71be8945-2936-4289-a18f-c411aa92e7c4 acpipowerbutton'

su firefish -c 'vboxmanage controlvm 304e28c7-3252-4f25-aa31-58b9e4a93936 acpipowerbutton'

su firefish -c 'vboxmanage controlvm 1d042c70-4998-4fc8-964c-843e2cd3abbf acpipowerbutton'

while [ "$(su firefish -c 'vboxmanage list runningvms')" != '' ]; do

sleep 1;

done

else

vboxmanage controlvm 71be8945-2936-4289-a18f-c411aa92e7c4 acpipowerbutton

vboxmanage controlvm 304e28c7-3252-4f25-aa31-58b9e4a93936 acpipowerbutton

vboxmanage controlvm 1d042c70-4998-4fc8-964c-843e2cd3abbf acpipowerbutton

while [ "$(vboxmanage list runningvms)" != '' ]; do

sleep 1;

done

echo "shutting down completed" | wall

А заключения не будет. Могу только сказать, что при добавлении /home/firefish/stopvm.sh в /etc/apcupsd/onbattery, оно таки заработало:

Broadcast Message from root@vmhost                                             
        (somewhere) at 1:47 ...                                                

shutting down started                                                          

Broadcast Message from root@vmhost                                             
        (somewhere) at 1:47 ...                                                

shutting down completed

Broadcast Message from root@vmhost

(somewhere) at 1:47 ...

shutting down started

Broadcast Message from root@vmhost

(somewhere) at 1:47 ...

shutting down completed

Интервал ONBATTERYDELAY увеличен до 30 секунд для игнорирования отключений электричества на короткое время. Хотя первый проваленный этой логикой тэсткейз — несколько подряд отключений на 29 секунд. Будем надеятся, что фикс будет написан раньше, чем это случится.

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

hardware linux SSD

Эксперименты с TRIM

05.08.2012 – 00:24

Вступление.
Дабы не искать перемещённые блоки по всему диску запишем на бОльшую его часть что-нибудь бесполезное, но с узнаваемым паттерном.
Хотя если контроллер умеет делать перестановки:
«после trim» <- «редко записываемые данные» <- «часто записываемые данные»
или
«редко записываемые данные» <-> «часто записываемые данные»
то мы не сможем это увидеть или это будет довольно трудно.
Ладно. Будем надеяться и верить. Читать далее »

Yuriy Nazarov | Постоянная ссылка | Нет комментариев

Следующая страница →

От идеи до профита

Архив категории: linux

Пробуем Teamcity с Docker

Компактное хранение исходного кода

Запуск дистрибутива linux как приложения

Заблуждения о файлах

Если удалить файл, свободное место увеличится на размер файла.

Если удалить файл, свободное место увеличится.

Если удалить файл, свободное место увеличится, когда файл все закроют.

Ну оно хотя бы не уменьшится при удалении?!

Если дописать информацию в файл, занятое им место на диске увеличится.

Одному имени файла всегда соответствует один и тот же файл.

Добавление пользователя в группу в дистрибутивах linux

Операционные системы и фарс с производительностью

Кросс-компиляция cygwin → mingw

Калькулятор, который всегда под рукой

Настраиваем apcupsd

Эксперименты с TRIM

Свежие записи

Мета

Рубрики

Архивы