Encapsular arquivo HTML físico em DLL - .NET

Acredito que sim (dentro de resources talvez), entretanto não sou um conhecedor profundo de .NET para te dar certeza e quais as regras e excessões.

Também da para fazer na “unha”… tem algumas formas de fazer isso… usando scripts por exemplo…

Usando resources é possível sim. Mas a forma mais convencional é fazer o instalador que coloca os arquivos de resource em um diretório que possa ser acessado pelo executável.

Talvez sabendo a real necessidade, seja mais facil saber a solução.

Qual o objetivo de encapsular o html dentro de uma dll?

Você pode adicionar qualquer tipo de arquivo como recurso dentro de um programa ou biblioteca. Só muda o tipo binario, string ou bitmap.