Я писал уже пару раз: у меня есть наработки и представление как сделать портмастер или отдельный скрипт который будет как пудриля создавать chroot с нужным и собирать там порт, потом это за собой почистит.
Оверхэд минимальный: создать папки через mtree, смонтировать туда часть / за исключением /usr, /var и чего то ещё, потом туда через pkg install навалить нужных для сборки зависимостей и собирать себе в удовольствие, потом запаковать всё в пакет и положить в кеш к остальным пакетам, откуда уже можно ставить в систему.

Звучит длинновато, но у нас на работе нечто похожее сделано, только в пром масштабах: там и ОС разворачивает целиком в chroot и сразу 260 пакетов, и на это уходит где то минута.
А если заменить разворачивание ОС на nullfs монтирование и ставить всего с десяток пакетов то будет очень шустро.
Конечно для сборки чего то совсем мелкого будет заметно, но даже на среднего размера пакетах типа той же самбы это уже будет не различимо.

В конечном счёте это можно было интегрировать как опцию для makefile портовых, типа uses= chrootbuild чтобы не всё подряд собирать так, а шлак с неадекватными автодетектами.

Но честно говоря делать не хочется, если только за деньги.
И заниматся сексом стоя в лыжах в гамаке в ихнем фабрикаторе тем более.