PublisherではFileMaker Server 接続ライセンスは必要になりますか？

いいえ、必要ありません。Publisherで作成したWebアプリは、FileMaker ServerのカスタムWeb公開機能を使用して動作するため、FileMaker Serverの接続ライセンス（ユーザライセンスおよび同時接続ライセンス）は不要です。