Tipo de Android XML File

Para ficar lado a lado tem o gridView || GridActivity
Neste componente você define o limite de colunas, cria um BaseAdapter e o android vai preencher automaticamente (de cima para baixo).

Qualquer coisa crie esboço da UI para facilitar indicação de quais componentes utilizar.

Faça como o fabriciov mostrou. Um GridView vai deixar tua tela igual ao menu do android.

Uma home com grade e icones é legal para smartphones, para tablets, o conteudo poderia ser exibido na mesma tela e acredito que um TabActivity (ou uma ActionBar com navegação) seria o ideal.

Estou utilizando o RelativeLayout, pois os icones ficam livres para posicionar.

Voce tem alguma imagem pra usar como exemplo ?

Procure na internet sobre GridView. Isso pode resolver o seu problema.

O ideal para adequar esse tipo de menu para celulares é o GridView mesmo, que além de permitir total de colunas variadas também tem scroll vertical caso necessario.

Ou vc pode fazer isso:

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent"
    android:orientation="vertical" >

    <Button
		android:id="@+id/b1"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Android" />
	
	<Button
		android:id="@+id/b2"
		android:layout_toRightOf="@id/b1"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Android" />
	
	<Button
		android:id="@+id/b3"
		android:layout_toRightOf="@id/b2"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Android" />

</RelativeLayout>