nginx側の設定に、proxy_set_header Authorization "";
を追加したら直った
location /grafana/ {
proxy_set_header Authorization "";
proxy_pass http://localhost:4000; # Grafana Application
}
この投稿を見よ: https://github.com/grafana/grafana/issues/8314#issuecomment-320197195