A benchmark for testing adaptive systems on structured data

I n t h i s p a p e r , w e w i l l d e s c r i b e a g e n e r a l m e t h o d o l o g y w h i c h c a n b e u t i l i z e d i n t h e g e n e r a t i o n o f i m a g e r e c o g n i t i o n b e n c h m a r k p r o b l e m s , w h i c h c a n b e u s e d t o v a l i d a t e a n d v e r i f y l e a r n i n g a l g o r i t h m s f o r d a t a s t r u c t u r e s . T h i s m e t h o d o l o g y i s b a s e d o n t h e c o n c e p t o f r e p r e s e n t i n g d a t a s t r u c t u r e s u s i n g w h a t i s k n o w n a s a n a t t r i b u t e d p l e x l a n g u a g e , u s i n g a n a t t r i b u t e d p l e x g r a m m a r . T h e a d v a n t a g e s o f u s i n g s u c h a m e t h o d o l o g y a r e t h a t ( 1 ) i t a l l o w s e a s y g e n e r a t i o n o f a l a r g e n u m b e r o f i m a g e r e c o g n i t i o n p r o b l e m s , w i t h v e r y w e l l d e n e d p a r a m e t e r s ; ( 2 ) i t r e q u i r e s r e l a t i v e l y s m a l l m e m o r y s t o r a g e ; a n d ( 3 ) i t c a p t u r e s s o m e o f t h e p r o b l e m s w h i c h f a c e t h e t a s k s o f a d a p t i v e p r o c e s s i n g o f d a t a s t r u c t u r e s . I n o r d e r t o i l l u s t r a t e t h i s m e t h o d o l o g y , w e w i l l u s e a n a r t i c i a l l e a r n i n g t a s k , v i z . , a t r a Æ c p o l i c e m a n , a n d t o s h o w h o w i t c a n b e a p p l i e d r e a d i l y . T h e t r a Æ c p o l i c e m a n b e n c h m a r k i s a n a r t i c i a l l e a r n i n g t a s k c o m p o s e d o f i m a g e s r e p r e s e n t i n g p o l i c e m e n w h i l e g i v i n g d i r e c t i o n s t o t h e t r a Æ c . P o l i c e m e n a r e c o m p o s e d o f b l o c k s o f d i e r e n t s h a p e , s i z e , a n d c o l o r 1 w h i c h a r e p r o p e r l y c o m b i n e d b y m e a n s o f r u l e s e x p r e s s e d u s i n g a n a t t r i b u t e d p l e x g r a m m a r . S o m e c o n c e p t s c a n b e d e n e d i n t h e w o r l d o f t h e t r a Æ c p o l i c e m e n a i m e d a t e m p h a s i z i n g e i t h e r s o m e f e a t u r e s o f t h e p a t t e r n s o r a t r e c o g n i z i n g a n a c t i o n . S o m e l e a r n i n g t a s k s a n d e x p e r i m e n t a l r e s u l t s a r e p r e s e n t e d i n s e c t i o n 4 a n d s e c t i o n 5 . T h e s o f t w a r e f o r g e n e r a t i n g i m a g e s f r o m a n a t t r i b u t e d p l e x g r a m m a r p o l g e n i s i n t r o d u c e d i n s e c t i o n 3 . 2 a n d t h e d e n i t i o n o f t h e p o l i c e m a n b e n c h m a r k i s g i v e n i n s e c t i o n 3 . 1 . T h e f o l l o w i n g s e c t i o n g i v e s a q u i c k o v e r v i e w o f t h e v a r i o u s g r a m m a r s u s e d . I t i s s h o w n t h a t a t t r i b u t e d p l e x g r a m m a r s a r e p a r t i c u l a r l y u s e f u l f o r i n t e r c o n n e c t i n g a n d a s s i g n i n g p r o p e r t i e s t o g r a p h i c a l o b j e c t s . 2 G r a m m a r s C o m m o n c o n t e x t f r e e g r a m m a r s [ 6 ] a n d p o p u l a r n o t a t i o n s a r e a p p l i e d t h r o u g h o u t t h i s d o c u m e n t a n d f o r t h e c r e a t i o n o f t h e b e n c h m a r k . T h e s e g r a m m a r s a r e c a p a b l e o f m o d e l i n g s t r u c t u r a l p r o p e r t i e s o f p a t t e r n s . H o w e v e r , t h e y h a v e d i f c u l t i e s i n r e p r e s e n t i n g q u a n t i t a t i v e i n f o r m a t i o n s u c h a s t h e s i z e o f a n o b j e c t , t e x t u r a l p a r a m e t e r s o f r e g i o n s , o r o r i e n t a t i o n . T h u s w e d e c i d e d t o u s e a t t r i b u t e g r a m m a r s [ 2 ] a s a s o l u t i o n t o t h i s p r o b l e m . T h e a p p r o a c h i s t o a l l o w a s s i g n m e n t s o f s p e c i c a t t r i b u t e s t o t e r m i n a l s y m b o l s t o d e s c r i b e a n d i n h e r i t s i z e a n d c o l o r o f o b j e c t s . F o r t h e p o l i c e m e n b e n c h m a r k w e e x t e n d t h i s g r a m m a r b y t h e d e n i t i o n o f g l o b a l a n d l o c a l a t t r i b u t e s . G l o b a l a t t r i b u t e s a r e v i s i b l e i n a l l p r o d u c t i o n s w h e r e a s l o c a l a t t r i b u t e s a r e o n l y v i s i b l e w i t h i n o n e p r o d u c t i o n . L o c a l a t t r i b u t e s t o a n o b j e c t A o v e r r i d e i t s g l o b a l a t t r i b u t e s . E a c h o b j e c t A h a s a t l e a s t o n e g l o b a l a t t r i b u t e n a m e l y i t s d e f a u l t v a l u e . S o f a r , t h e o n l y p o s s i b l e r e l a t i o n b e t w e e n s y m b o l s i n a s t r i n g p r o d u c e d b y a c o n t e x t f r e e g r a m m a r i s t h e c o n c a t e n a t i o n r e l a t i o n . T h i s s c h e m a i s v e r y r e s t r i c t e d i f h i g h e r d i m e n s i o n a l p a t t e r n s a r e t o b e d e s c r i b e d . A m o r e e e c t i v e a p p r o a c h i s t o i n c o r p o r a t e r e l a t i o n s i n t o s t r i n g r e p r e s e n t a t i o n s w h i c h a r e m o r e g e n e r a l t h a n c o n c a t e n a t i o n . T h e p l e x g r a m m a r , a s i n t r o d u c e d b y F e d e r i n 1 9 7 1 1 T h e s e a r e c o m m o n l y k n o w n a s p r i m i t i v e s . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 [ 3 ] , i n t r o d u c e s o b j e c t s w i t h a n a r b i t r a r y n u m b e r o f a t t a c h m e n t p o i n t s f o r j o i n i n g o t h e r s y m b o l s , t h u s a l l o w i n g v e r y g e n e r a l m e a n s o f i n t e r c o n n e c t i o n o f p r i m i t i v e o b j e c t s i n t o c o m p l e x o b j e c t s . A n o b j e c t o f t h i s t y p e i s c a l l e d a n n a t t a c h i n g p o i n t e n t i t y ( N A P E ) w i t h N A P E 2 V , w h e r e V i s t h e v o c a b u l a r y o f t h e l a n g u a g e , c o n t a i n i n g b o t h t h e t e r m i n a l s e t T , a n d n o n t e r m i n a l s e t N . T h e a b i l i t y t o i n t e r c o n n e c t o b j e c t s a r b i t r a r i l y i s p a r t i c u l a r l y u s e f u l f o r t h i s b e n c h m a r k a n d i s a p p l i e d e x t e n s i v e l y . P l e x g r a m m a r s a r e q u i t e p o w e r f u l a n d g e n e r a l i n n a t u r e . T h e y c o m b i n e t h e p o w e r o f s t r i n g { , t r e e { , a n d w e b { g r a m m a r s [ 4 ] a s s u b { c a s e s . H o w e v e r , a d r a w b a c k i s t h a t p l e x p r o d u c t i o n s c o u l d b e q u i t e c r y p t i c . F u r t h e r m o r e , i l l e g a l p r o d u c t i o n s a r e e a s i l y i n t r o d u c e d b u t m i g h t b e d i Æ c u l t t o d e t e c t . F o r t h i s r e a s o n m e t h o d s f o r s i m p l i f y i n g a n d n o r m a l i z i n g p l e x g r a m m a r s h a v e b e e n s u g g e s t e d [ 5 ] 3 T h e p o l i c e m e n w o r l d T h e w o r l d t h a t w e c o n s i d e r c o n s i s t s o f a t r a Æ c p o l i c e m a n s t a n d i n g o n a p e d e s t a l . T h e p o l i c e m a n i s c o m p o s e d o f b l o c k s o f d i e r e n t s h a p e , c o l o r , a n d s i z e . T h e s h a p e o f t h e b l o c k s i s p r e d e n e d ; c o l o r a n d s i z e a r e v a r i a b l e . T h e p o l i c e m a n i s i n a c e r t a i n s t a t e d e p e n d i n g o n h o w t h e b l o c k s a r e a s s e m b l e d o r m o d i e d . F o r e x a m p l e , i f t h e p o l i c e m a n f e a t u r e s a r a i s e d s i g n o r t w o r a i s e d a r m s t h e n h i s s t a t e i s \ s t o p " , t w o l o w e r e d a r m s m e a n s \ g o " , o n e r a i s e d l e f t a r m w i t h o u t a s i g n i m p l i e s \ p r e p a r e f o r s t o p " . O t h e r s t a t e s c a n a l s o b e d e n e d . S t a t e s , f o r e x a m p l e , t h a t r e l y o n t h e s i z e o r c o l o r o f b o d y p a r t s . I m a g e 1 : A t r a Æ c p o l i c e m a n 3 . 1 S y n t a c t i c d e n i t i o n T h e p o l i c e m a n w o r l d c a n n i c e l y b e d e s c r i b e d b y m e a n s o f a n a t t r i b u t e d p l e x g r a m m a r w h e r e a p o l i c e m a n c a n b e c o m p o s e d o f t h e f o l l o w i n g p r i m i t i v e o b j e c t s : N = f h a t ; f a c e ; m b o d y ; a r m ; h a n d ; s i g n ; s k i r t ; l e g ; p e d e s t a l g : I n t e r c o n n e c t i o n s b e t w e e n p r i m i t i v e s a r e w e l l d e n e d t h r o u g h a p l e x g r a m m a r t h a t a l s o a s s i g n s m o d i f y i n g a t t r i b u t e s t o i t s p r i m i t i v e o b j e c t s . T h e r e s u l t a r e i m a g e s s i m i l a r t o t h e o n e s h o w n i n i m a g e 1 . A s t r u c t u r a l d e c o m p o s i t i o n o f t h e s e i m a g e s i s g i v e n i n g u r e 1 . I t r e e c t s t h e p a r s i n g t r e e a s p r o d u c e d b y t h e g r a m m a r . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 b o d y h e a d l o w e r p a r t m b o d y l a r m r a r m a r m s i g n l e g l e g p e d e s t a l h a n d a r m h a t f a c e s k i r t l e g s p o l i c e m a n F i g u r e 1 : S t r u c t u r a l d e c o m p o s i t i o n o f a t r a Æ c p o l i c e m a n E v e r y t e r m i n a l s y m b o l i s r e p r e s e n t e d b y a g r a p h i c a l o b j e c t i n f o r m o f a p i x m a p l e . I t c a n b e a u g m e n t e d w i t h a s e t o f a t t r i b u t e s . V a l i d a t t r i b u t e s a s s i g n a c o l o r o r a s c a l i n g f a c t o r t o e a c h o b j e c t . O n e o f t h e m a i n b e n e t s o f c h o o s i n g p i x m a p d a t a a s t e r m i n a l N A P E s i s t h a t t h e r e i s n o r e s t r i c t i o n t o u s e j u s t s i m p l e b l o c k s