Векторная маска создается из активного контура панели Контуры либо из активного выделения. Если нет активного контура или выделения, будет создана маска размером с весь документ.
Создать векторную маску можно нажатием кнопки на панели Контуры или Слои. Если слой не содержит маску, то при создании из панели Слои сначала будет создана слой-маска, а при следующем нажатии - векторная.

Создать векторную маску можно, выбрав один из следующих пунктов в меню Слои -> Векторная маска:
Показать всё - создается прозрачная векторная маска, перекрывающая весь слой.

Скрыть всё - создается непрозрачная векторная маска, перекрывающая весь слой.

По активному контуру - создается векторная маска по активному векторному контуру.

Показать выделение - создается векторная маска, которая скрывает все кроме выделенной части слоя.

Скрыть выделение - создается векторная маска, которая скрывает только выделенную область слоя.

Также эти команды можно найти в меню, вызываемом щелчком правой кнопки мыши по слою на панели Слои в подменю Векторная маска.
При создании векторной маски в панели Контуры появится элемент с именем Векторная маска. Редактирование векторной маски производится с помощью инструментов редактирования контуров. Для этого выбрать созданную векторную маску на панели Слои или контур векторной маски на панели Контуры, щелкнув по миниатюре.
По умолчанию созданная маска привязывается к активному слою. Разорвать/восстановить связь между слоем и маской можно щелчком по значку /
Можно перемещать векторную маску между слоями, просто перетаскивая ее курсором мыши. Если при этом удерживать нажатыми клавиши Shift и Alt, то активная маска будет скопирована в выбранный слой.
Чтобы удалить маску, нужно выбрать миниатюру маски и нажать кнопку или выбрать команду Слои -> Векторная маска -> Удалить. Также удалить векторную маску можно, удалив ее контур или перетащив минатюру на значок корзины внизу панели Слои или Контуры.
Чтобы отключить/включить векторную маску, выделите слой, содержащий маску и выберите команду Слои -> Векторная маска -> Выключить/Включить. При отключении векторной маски ее миниатюра будет перечеркнута крест-накрест, а содержимое слоя будет отображаться без учета маски.

Для добавления векторной маски в выделение щелкните правой кнопкой мыши по слою с маской на панели Слои и выберите одну из следующих команд в подменю Векторная маска:
Команда Добавить в выделение добавляет к выделению область векторной маски.
Команда Исключить из выделения исключает из выделения область векторной маски.
Команда Пересечение с выделением создает выделение, содержащее общую часть выделения и векторной маски.
Команда Слои -> Векторная маска -> Применить превращает векторную маску в слой-маску. Если слой уже содержит слой-маску, то маски будут объединены.