Введение в make

Утилита make предназначена для автоматизации сборки проектов. Если какие-либо файлы проекта могут быть сгенерированы из других файлов, утилита позволяет выполнить процесс построения наиболее оптимальным способом, по возможности минимизируя количество обрабатываемых файлов.

Исторически утилита предназначалась для сборки проектов на языке C в операционной системе Unix, однако может быть использоваться для работы с любыми проектами. Первая версия системы была создана в 1977 году.

На сегодняшний день наиболее распространены три варианта утилиты, объединенные общими принципами работы, но отличающиеся синтаксисом языка и возможностями:

• GNU make — самый распространенный и функциональный вариант
• BSD make (pmake) — используется в проектах BSD, по функциональности примерно соответствует GNU make
• nmake (Microsoft make) — работает под Windows, малофункционален, только базовые принципы make.

Мы работаем с GNU make. На BSD системах (в частности, FreeBSD, он может быть доступен как gmake, на Linux — просто make).

Утилита make работает по правилам (rules), записанным в специальном конфигурационном файле. Правила определяют цели (targets), завимости между целями и набор команд для выполнения каждой цели.

Цели могут соответствовать определенным файлам. Кроме того, цели могут не соответствовать ни одному файлу и использоваться для группировки других целей или определенной последовательности команд. Такие цели называются phony targets.

Каждая цель может зависеть от выполнения других целей. Выполнение цели требует предварительного выполнения других целей, от которых она зависит.

В случае зависимости между целями, соответствующими файлам, цель выполняется только в том случае, если файлы, от которых она зависит, новее, чем файл, соответствующий цели. Это позволяет перегенерировать только файлы, зависящие от измененных файлов, и не выполнять потенциально долгий процесс пересборки всех файлов проекта.

Таким образом, makefile определяет граф зависимостей, по которому утилита make выполняет ту или иную цель, по возможности минимизируя количество операций сборки.

Несмотря на то, что для make можно указать произвольный файл правил, как правило используют стандартное имя Makefile. Поддерживаются также несколько альтернативных имен по умолчанию, но имеет смысл использовать наиболее распространенное.

Соответственно, команда

$ make

будет использовать файл Makefile, находящийся в текущем каталоге.

При запуске make можно указать цель, которая будет выполнена. Если цель не указана, используется цель по умолчанию, которая либо указана в файле правил явно, либо неявно используется первая определенная цель.

Явное указание цели выполняется инструкцией DEFAULT_GOAL в Makefile:

.DEFAULT_GOAL: all

Например, команда

$ make clean

вызовет обработку цели clean файла Makefile, находящегося в текущем каталоге.

Можно указать сразу несколько целей.

Выполнение целей может быть настроено с использованием переменных (о которых ниже). При запуске make можно указать значения переменных:

$ make build PREFIX=/usr/local

Значение переменной PREFIX будет доступно в правилах Makefile и может быть использовано при сборке.

Команда поддерживает также ряд дополнительных опций, из которых наиболее важные следующие:

• -f — позволяет явно указать файл правил
• -C — переходит в указанный каталог перед выполнением, может быть, например, использована для запуска make из внешнего каталога по отношению к каталогу проекта
• -B — отключает проверку времени зависимых целей и принудительно выполняет их полностью

Основная конструкция, используемая в файлах make, выглядит следующим образом:

target: dep1 dep2 ...
  command1
  command2
  ...

Здесь:

• target — цель
• dep1, dep2 — цели, от которых зависит цель target
• command1, command2 — команды, выполняемые для достижения цели target

Например:

style.css: src/less/app.less
  lessc src/less/app.less > style.css

Этот фрагмент определяет, что файл style.css зависит от файла src/less/app.less и для его сборки необходимо выполнить команду lessc src/less/app.less > style.css. Перегенерация файла style.css будет выполняться только в случае,если файл src/less/app.less новее, чем файл style.css (до тех пор, пока при запуске make не будет указан ключ -B).

Перед каждой командой внутри описания цели должен присутствовать символ табуляции. В принципе, это настраивается, но лучше использовать общепринятые соглашения. Если вместо табуляции используются пробелы, make работать не будет.

В качестве команд обработки целей используются команды shell. Текст команды выводится, для того, чтобы он не выводился, команду необходимо начать с символа @.

Каждая команда запускается в отдельном интерпретаторе shell, таким образом, команды не связаны друг с другом. Иначе говоря, одна строка команды — один shell. Это поведение может быть переопределено с помощью специальной цели .ONESHELL.

Если команду (или список зависимостей) необходимо записать в несколько строк, используют символ переноса \.

Цели, не соответствующие файлам, и предназначенные для выполнения набора команд или группировки завимостей, декларируются следующим образом:

.PHONY: clean
clean:
  rm *.o temp

Деклараций .PHONY может быть несколько, обычно определяют одну и прописывают туда все соответствующие цели.

В нашем примере вызов make clean приведет к выполнению цели clean, которая безусловно выполнит удаление временных файлов.

В случае, если у phony target есть зависимость в виде другой phony target, то зависимость выполняется перед зависящей целью. Таким образом, мы получаем механизм, напоминающий подпрограммы. Например, мы можем определить цель all, собирающую все файлы проекта, и отдельные цели css, js и php, собирающие отдельной css-файлы, js-файлы и обрабатывающие php файлы.

Соответственно, в Makefile мы можем написать:

.PHONY: all css js php
all: css js php
css: www/style.css
  ... тут команды
js:  www/js/app.js
  ... тут еще команды
php:
  ... тут снова команды

В результате мы можем использовать make all для пересборки всех файлов и, скажем, make css для пересборки только CSS-файлов.

В make-файле можно использовать переменные, хотя правильнее сказать, что можно использовать макросы.

Переменные определяются присваиванием в makefile или могут быть переданы извне.

Переменные — это макроопределения, причем вычисление переменной всегда выполняется в самый последний момент перед подстановкой. Макросы могут использовать везде в тексте makefile.

СС=gcc
IDIR=../include
CFLAGS=-I$(IDIR)
DEPS=hellomake.o hellofunc.p
NAME=hellomake
 
$(NAME): $(DEPS)
  $(CC) -o $(NAME) $(DEPS)

Подстановка выполняется конструкцией $(VAR) в отличие от shell, где используется $VAR.

Если в shell команде используется shell-переменная, необходимо квотить знак $, дублируя его, например:

printhome:
  echo $$HOME

Помимо макропеременных существуют и более традиционные, в которых значение устанавливается сразу. Для работы с ними используется оператор :=. В наших условиях достаточно использовать обычные переменные.

Часто требуется определить переменную только в том случае, если она еще не была определена. Для этого используется оператор ?=:

MYSQL_CHARSET ?= UTF8

Соответственно, если мы вызовем

make create-database 

будет использована кодировка UTF8, а в случае

make create-database MYSQL_CHARSET=CP1251

будет использована CP1251.

Если переменная содержит несколько строк, можно использовать синтаксис define:

define MYSQL_APP_CONF_TEMPLATE
  [mysql]
  host=$(MYSQL_SERVER)
  port=$(MYSQL_PORT)
  user=$(MYSQL_USER)
  password='$(MYSQL_PASSWORD)'
endef

Make поддерживает набор автоматических переменных, облегчающих написание правил. Например, переменная $@ соответствую текущей цели (то, что слева от :), а переменная $^ — списку зависимостей (то, что справа от :). Таким образом, например, можно написать:

www/js/script.js: src/js/jquery.js src/js/plugin1.js src/js/plugin2.js
  cat $^ > $@

В результате www/js/script.js будет результатом объединения трех js-файлов.

Полный список таких переменных приведен в документации, для нас наиболее интересны:

• $@ — имя цели
• $< — имя первой зависимости
• $? — имена всех зависимостей, которые новее чем цель
• $^ — имена всех зависимостей цели

С полным списком можно ознакомиться в документации: Automatic Variables.

В Makefile можно использовать условные выражения. Опять же, мы говорим о макрообработке make, соответственно, условные выражения работают на уровне makefile, а не на уровне команд. Обычно условные выражения используются для определения тех или иных целей в зависимости от значения переменных. Например:

ifdef $(APP)
  setup:
        ...
else
  setup:
    @echo "Error, applications is not defined"
endif

В качестве условий можно проверять определенность переменной, а также ее значение:

foo: $(objects)
  ifeq ($(CC),gcc)
    $(CC) -o foo $(objects) $(libs_for_gcc)
  else
    $(CC) -o foo $(objects) $(normal_libs)
  endif

Полностью с возможностями условных выражений можно ознакомиться в документации: Conditional syntax.

Шаблонные правила (pattern rules) позволяют указать правило преобразования одних файлов в другие на основании зависимостей между их именами. Например, мы можем указать правило для получения объектного файла из файла на языке C:

%.o: %.c
  $(CC) $< -o $@

Обратите внимание на использование переменной %<, которая в таких правилах используется для получения имени исходного файла.

Шаблоны не обязаны ограничиваться расширениями файлов. Если исходные и выходные файлы соответствуют друг другу и в их именах есть какая-либо зависимость, можно использовать pattern rule.

Файл make может подключить другие файлы make оператором include:

include make1.mk make2.mk

Таким образом, из файлов можно строить модульную систему, часто имеет смысл выполнять include внутри условного оператора.

Make определяет большой набор функций, которые могут быть использованы в переменных (макросах). Вызов функции выполняется конструкцией:

$(function arg1,arg2,...)

Функции позволяют обрабатывать строки, имена файлов, организовывать циклы по набору значений, организовывать условный вызов других функций.

Несколько примеров из hive. Получаем текущее время (обратите внимание на использование :=:

HIVE_TIME := $(shell date +%Y/%m/%d\ %H:%M:%S)

Включение файла container.mk только в случае, если он существует:

include $(shell find $(HIVE_ETC_DIR) -name container.mk)

Формирование имени MySQL базы по имени проекта:

MYSQL_DB ?= $(subst -,_,$(HIVE_NAME)_$(APP))

Добавление префиксов и суффиксов к именам файлов

$(addprefix src/less/,$(addsuffix .less, app ui catalog))

Подробнее о функциях можно прочитать в документации Functions.

Можно создавать собственные параметризованные функции путем определения переменных, содержащих специальные переменные $1, $2, ..., соответствующие переданным аргументам. Вызов пользовательской функции производится специальным макросом call:

$(call variable,param,param,...)

Очень тупой пример:

hive_red = "\033[1;31m$1\033[0m"
define hive_error
  (echo $(call hive_red,error: $1) && exit 1)
endef

Теперь можно написать:

ifndef HIVE_URI
    @$(call hive_error,undefined container domain)
endif

Помимо включения другого файла make, Makefile может выполнить другой файл make в виде отдельного make-процесса.

Это достаточно частая ситуация в случае модульных проектов. Например, для каждой из компонент проекта (сервер, клиент, библиотеки) предусмотрен свой Makefile, при этом есть основной Makefile, задающий набор общих настроек и вызывающий Makefile каждого подпроекта.

Вызов make из Makefile часто называют submake. Для вызова используется переменная $(MAKE):

libraries:
  cd libs && $(MAKE)

Значение этой переменной соответствует пути к программе make, обрабатывающей текущий файл.

Для передачи переменных в вызываемый таким образом файл их необходимо явно экспортировать:

export PREFIX=/some/path
subsystem:
  cd subsystem && $(MAKE)

Значение переменной PREFIX будет доступно в subsystem/Makefile.

Make умеет распараллеливать выполнение правил. Для этого используется опция -j, позволяющая указать количество используемых параллельных процессов. Помимо ускорения процесса сборки эта особенность иногда позволяет реализовывать на коленке очень простые сценарии обработки, подразумевающие многозадачность. Например, можно реализовать простой, но работоспособный менеджер очередей на make, используя файлы для хранения заданий и каталоги для хранения файлов заданий на разных стадиях (ожидание, выполнение, результат).

Параллельное выполнение может быть запрещено с помощью специальной цели .NOTPARALLEL.

Make поддерживает набор целей, которые могут быть использованы как модификаторы для последующих целей либо как служебные инструкции. Вот некоторые из таких специальных целей:

• .PHONY — определяет набор phony targets;
• .DEFAULT — определяет цель, которая будет вызываться, если не найдена зависимая цель, необходимая для выполнения другой цели;
• .IGNORE — указывает цели, для которых необходимо игнорировать ошибки при выполнении цели;
• .SILENT — определяет набор целей, для которых необходимо подавлять вывод команд, выполняющих цель;
• .NOTPARALLEL — запрещает параллельное выполнение makefile;
• .ONESHELL — выполняет набор команд цели в одном процессе shell.

Чаще всего о make говорят в контексте сборки программ на C/C++, в конце концов, для этого он изначально предназначался. Однако, make ­— гораздо более универсальный инструмент. Записывая makefile, мы декларативно описываем определенное состояние отношений между файлами, которое каждый запуск make будет стараться поддерживать. Декларативный характер определения состояния очень удобен, в случае использования какого-либо императивного языка (например, shell) нам приходилось бы выполнять большое количество различных проверок, получая на выходе сложный и запутанный код.

Кроме того, использование зависимостей между phony targets, позволяющии, по сути, декларативно описывать некий (ограниченный) конечный автомат, может быть полезно для написания различных административных сценариев. Используя make в качестве каркаса для выполнения различных shell-команд, мы получаем по сути некий базовый framework для shell с готовым пользовательским интерфейсом (вызов make + передача переменных), встроенными средствами отслеживания зависимостей, параллельного выполнения, макроопределениями и т.д.

Поэтому базовое знание make позволяет в ряде случаев решить проблему пусть и не самым красивым, но зато быстрым и достаточно надежным способом.