Впервые упомянут в архивах в 1244 году, замок являлся главной резиденцией одного из самых важных дворянских семейств западной Швейцарии в средние века: графов Грюйер.
В течение почти пяти столетий графы будут управлять Грюйером. Некоторые графы из семейства за этот период отличились на полях сражений во время Столетней войны и во время Бургундских войн. Династия вымерла вместе с Мишелем, названного «самым красивым рыцарем своего времени», который столкнувшись с финансовыми проблемами, обанкротился, а его имущество было конфисковано в 1554 году. Берн и Фрибург разделили территории бывшего графства.
Между 1554 и 1798 годами в Грюйере сменяли друг друга более пятидесяти судебных приставов из больших семей Фрибурга. Во время своего правления семьи из Фрибурга занимались расширением альпийских пастбищ, увеличением производства сыра и его экспортом на зарубежные рынки. Поддерживая транспортировку на большие расстояния.
В 1849 году замок был выставлен на аукцион после передачи резиденции префектуры Грюйер Булле. В итоге братья семьи Бови — Джон, Антуан и Даниэль поселились в Грюйере весной.
Новые владельцы проводят капитальный ремонт. Управление замком возложено на Даниэля Бови, который переопределяет организацию и тему каждой комнаты в здании. Он приглашает своих друзей-художников из Франции и Женевы, и все они участвуют в создании нового дизайна.
По инициативе Даниэля замок Грюйер принимает художников и становится местом художественных выставок. Встречи и обмены между художниками, скульпторами, писателями и музыкантами являются частью общественной жизни этих художников. Художники преуспевают, в частности, в искусстве пейзажа, и картины Жана-Батиста Камиля Коро и Бартелеми Менна, украшающие стены замка, свидетельствуют об этом сотрудничестве.
В 1938 году замок был преобразован в музей.
P.S. У подножия замка огромное количество баров и ресторанов. Мы были там в августе 2021 когда еще были ограничения и все равно народу было не мало и что бы попасть в ресторан надо было так сказать «постоять в очереди». Но оно стоили того. Фондю из разных видов сыров Грюйер это деликатес.