Não seria da mesma forma do html normal?
<html>
<head>
<script>
function valida(){
if(!document.forms[0].teste[0].checked && !document.forms[0].teste[1].checked ){
alert("selecione uma opção");
}else{
alert("ok");
}
}
</script>
<form name="aa">
<input type="radio" name="teste" value="1">aaa<br>
<input type="radio" name="teste" value="2">bbb<br>
<input type="button" value="valida" onClick="valida();"><br>
</form>
</head>
<html>