разумеется, что все имеет значение.
минимально, что стоит сделать - это подстраховаться от утечек памяти.
т.е. это нужно прописывать обязательно.
Даже можно немножко пожертвовать производительностью, но увеличить стабильность.
Просто для тех, кто решил перейти на php-fpm, утечка памяти - это самая распространенная неожиданность. Крайне неприятная неожиданность.
И это не зависит от самого веб-сервера, это может быть Апачи или Nginx, в данном случае не имеет значения, т.к. корень проблемы кроется именно в процессах php-fpm, которые в принципе могут быть вообще и без веб-сервера.
Тонкую настройку можно сделать после, но подстраховку от утечек нужно делать сразу. Это чтобы не перезапускать весь сервер пару раз в неделю после очередного зависания.