根据The Christian Post报道，葛培理牧师的孩子为葛培理图书馆的结构和设计发生了矛盾。《华盛顿报》指五位孩子当中排行最小的Ned Graham及另外一名葛培理家族的密友担心图书馆将会引来话柄。
这个图书馆大约是4万平方尺，设计是根据葛培理牧师小时候在北卡罗来纳州长大的农庄。图书馆的入口是一个40尺高的玻璃十字架的形状。这图书馆预料每年会有20万位访客。
对于反对的意见，葛培理布道团的继承人Franklin Graham在一份声明中表示失望："我尊重任何人反对兴建图书馆或者不喜欢图书馆的设计的权利。可是，我深信葛培理布道团的董事会以及我的父亲都赞同兴建这个图书馆，作爲葛培理牧师长达60年传讲耶稣基督福音的事工的延续。"
葛培理牧师年届88嵗，患有帕金逊症，起初反对兴建图书馆的计划。理由是他觉得不需要有任何纪念馆来荣耀他自己的事工或成就。可是，Franklin答应他的父亲新的图书馆是用作传福音的用途，绝对不是一种"供奉"，葛培理牧师也就支持这个计划。2005年8月，葛培理两父子在北卡罗来纳州主持了这个新事工的动土仪式。
Franklin对《华盛顿报》说："我希望每位参观的人都能够听到讯息，并且在他们离开图书馆的时候，都能够下一个决定究竟要接受基督还是拒绝基督。"
葛培理的太太，86嵗的Ruth，担心这个图书馆会成爲一个"游客热点"。有消息指图书馆外面的花园将会成爲葛培理牧师夫妇的葬园。其实葛培理牧师太太希望葬在Asheville，就是葛培理牧师设立退修中心的地方。而葛培理牧师则尚在考虑在那里安葬，目前并无任何决定。
Franklin明确地指出，在那里安葬纯是个人的问题，所以并无意公开辩论，而且他相信父母希望在那里安葬也是属于父母亲个人的意愿，并不是他本人、其他弟兄姐妹或是外人能够决定的。
最后，Franklin说："作爲葛培理牧师的儿子并葛培理布道团的主席，我绝对支持我的爸爸和妈妈，我也决定要使这个机构能够对主的福音忠心到底，直至把福音工作传播至地极为止。"
